PHÂN TÍCH CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN HIỆU QUẢ CỦA VIỆC ÁP DỤNG HỌC TĂNG CƯỜNG VÀO ĐIỀU KHIỂN ĐỊNH TUYẾN TRONG MẠNG KHÔNG DÂY HÌNH LƯỚI

jos.hueuni.edu.vn Tập 133, Số 2A, 2024 51 Hình 3. Mô hình hóa bài toán định tuyến thành mô hình học tăng cường Thuật toán 1 là mã giả lập của thuật toán cập nhật bảng định tuyến tại mỗi nút. Tại thời điểm khởi tạo, mỗi nút tạo một bảng Q-value với mỗi bản ghi có cấu trúc {Gx, N, Q}, trong đó, Gx là GR đích, N là nút tiếp theo dọc theo lộ trình từ nút hiện tại đến Gx và Q là trọng số của lộ trình tương ứng. Vì độ đo định tuyến được sử dụng trong thuật toán này là tổng số chặng (hop-count), nên ở thời điểm khởi tạo, trọng số Q của mỗi lộ trình {Gx, N, Q} được thiết lập bằng 1 nếu nút hiện tại có kết nối trực tiếp đến Gx, bằng  trong trường hợp ngược lại (các bước từ 1 đến 9 trong thuật toán 1). Xét ví dụ như Hình 3, bảng Q-value của nút K ở thời điểm khởi tạo gồm có 3 bản ghi, vì K có 3 nút làng giềng, trong đó nút G là GR nên bản ghi tương ứng với nút láng giềng này có giá trị Q bằng 1. Hai nút láng giềng còn lại không phải là GR nên giá trị Q bằng . Bảng Q- value của mỗi nút được cập nhật thường xuyên trong quá trình truyền dữ liệu thông qua các gói dữ liệu và gói ACK theo các bước từ 10 đến 26 của thuật toán 1. Trở lại ví dụ ở Hình 3, xét bảng Q-value của nút S, ở thời điểm khởi tạo, tất cả các bản ghi đến nút G đều có giá trị Q là  vì tất cả các nút láng giềng của nút S ở thời điểm hiện tại đều không phải là GR. Sau một số lần cập nhật giá trị Q theo các bước 10 đến 26 của thuật toán 1, giá trị Q sẽ hội tụ dần về số hop-cout nhỏ nhất để đi đến G. Ở trạng thái hiện tại, lộ trình tốt nhất để đi đến G là S → K → G.