PHÂN TÍCH CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN HIỆU QUẢ CỦA VIỆC ÁP DỤNG HỌC TĂNG CƯỜNG VÀO ĐIỀU KHIỂN ĐỊNH TUYẾN TRONG MẠNG KHÔNG DÂY HÌNH LƯỚI

Lê Hữu Bình và Lê Đức Huy Tập 133, Số 2A, 2024 52 Thuật toán 1. Cập nhật bảng định tuyến tại mỗi nút sử dụng Q-learning Đầu vào: Một tô-pô mạng WMN và các tham số kỹ thuật của hệ thống mạng, hệ số tỷ lệ học (), hệ số chiết khấu (). Đầu ra: Bảng Q-values của tất cả các WR. Các bước thực hiện: 1: 2: 3: For (mỗi nút I trong mạng) //Khởi tạo bảng Q-value cho mỗi node For (mỗi nút J là láng giềng của I) If (J là GR) // J  G 4: Thêm bản ghi {G, G, 1} vào bảng Q-value của nút I; 5: else 6: Thêm bản ghi {G, J, } vào bảng Q-value của nút I; 7: End if; 8: 9: End for; End for; //Cập nhật bảng Q-value 10: 11: For (mỗi nút I trong mạng) If (I nhận được một gói dữ liệu) 12: 13: 14: 15: Chọn một bản ghi trong bảng Q-value theo chính sách -greegy sử dụng (2); Truyền gói dữ liệu đến nút láng giềng được chọn ở bước 11 (giả sử nút J); Chuyển sang bước 18; Chờ nhận gói ACK; 16; 17; End if; End for; 18: //Tại nút J If (J nhận được gói dữ liệu từ I) 19: 20: 21: Tìm giá trị tốt nhất (Qmin) từ J đến GR trong bảng Q-value; Tạo gói ACK, lưu giá trị Qmin vào gói ACK; Gửi phản hồi gói ACK về nút I; 22: 23: End if //Tại nút I If (I nhận được gói ACK từ J) 24: 25: Đọc giá trị Qmin trong gói ACK; Cập nhật bảng Q-value theo phương trình (1); 26: End if;