PHÂN TÍCH CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN HIỆU QUẢ CỦA VIỆC ÁP DỤNG HỌC TĂNG CƯỜNG VÀO ĐIỀU KHIỂN ĐỊNH TUYẾN TRONG MẠNG KHÔNG DÂY HÌNH LƯỚI

Lê Hữu Bình và Lê Đức Huy Tập 133, Số 2A, 2024 48 Bảng 1. Một số công trình nghiên cứu tiêu biểu về đinh tuyến dựa trên học tăng cường Công trình Phương pháp học Độ đo sử dụng cho giá trị phản hồi (reward) Kết quả đạt được [7] Học qua gói ACK, cải tiến từ giao thức AODV Tỷ lệ tín hiệu trên nhiễu (SNR), tải lưu lượng trên các kết nối Đề xuất thuật toán định tuyến cải tiến từ AODV, tăng thông lượng mạng, giảm độ trễ. [9] Học qua gói ACK Năng lượng của nút láng giềng Đề xuất thuật toán định tuyến cân bằng năng lượng dựa trên Q-Learning, tăng thời gian tồn tại của các nút, giảm tỷ lệ tổn thất gói dữ liệu. [10] Học qua gói ACK Tải lưu lượng trên các kênh Đề xuất thuật toán định tuyến dựa trên Q- Learning, cải thiện xác suất nghẽn mạng. [11] Học qua gói Hello, thay đổi linh hoạt hệ số tỷ lệ học để xác định điều kiện ràng buộc của QoT Tỷ lệ truyền gói dữ liệu thành công Đề xuất thuật toán định tuyến có tên QGIR, giảm tỷ lệ nghẽn gói dữ liệu, tăng thông lượng mạng. [14] Học qua gói ACK Chất lượng đường truyền Đề xuất thuật toán RLBPR, tăng thông lượng, giảm độ trễ. [18] Sử dụng kiến trúc SDN, học tập trung tại SDN controller Xác suất nghẽn gói, SNR Đề xuất thuật toán định tuyến IRSML, tăng SNR, thông lượng mạng và độ trễ. [21] Học qua gói ACK và Hello Tổng số chặng (Hop count) So sánh hiệu năng của phương pháp học qua gói ACK và gói Hello, xác định được ưu nhược điểm của các phương pháp Nhóm tác giả trong [14] đã sử dụng học tăng cường để đề xuất một thuật toán định tuyến có tên RLBPR (Reinforcement Learning-based Best Path Routing) cho mạng WMN. Để lựa chọn

lộ trình đến GR, thuật toán RLBPR sử dụng phương pháp Q-Learning với giá trị của hàm phản hồi (reward) là xác suất nghẽn gói dữ liệu. Độ đo này được lưu trữ trong bảng giá trị Q tại mỗi nút, làm cơ sở cho các bộ định tuyến không dây chọn trình để truyền dữ liệu đến đích. Các kết quả mô phỏng sử dụng NS-2 đã cho thấy rằng thuật toán RLBPR mang lại hiệu quả hơn các thuật toán khác về độ trễ và thông lượng mạng. Cũng với phương pháp sử dụng học tăng cường, nhóm tác giả trong [11] đã đề xuất một thuật toán định tuyến thông minh đảm bảo chất lượng dịch vụ (Quality of Sercive - QoS) cho mạng WMN với tải lưu lượng cao. Các tác giả đã xây dựng một hàm phản hồi với độ đo là tỷ lệ truyền gói dữ liệu thành công đến đích. Hàm phản hồi này được