PHÂN TÍCH CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN HIỆU QUẢ CỦA VIỆC ÁP DỤNG HỌC TĂNG CƯỜNG VÀO ĐIỀU KHIỂN ĐỊNH TUYẾN TRONG MẠNG KHÔNG DÂY HÌNH LƯỚI

jos.hueuni.edu.vn Tập 133, Số 2A, 2024 49 sử dụng cho việc cập nhật bảng định tuyến tại mỗi nút thông qua thuật toán Q-Learning. Ngoài ra, hệ số tỷ lệ học của thuật toán Q-Learning được thay đổi một cách linh hoạt để xác định điều kiện ràng buộc về thời gian trễ từ nguồn đến đích. Bằng phương pháp mô phỏng, các tác giả đã cho thấy rõ thuật toán định tuyến được đề xuất mang lại hiệu năng mạng cao hơn các thuật toán phổ biến. Kết quả của các công trình nghiên cứu được khảo sát ở trên đã cho thấy rõ hiệu quả của việc áp dụng học tăng cường vào điều khiển định tuyến trong mạng WMN. Để nâng cao hiệu quả của kỹ thuật định tuyến này, việc nghiên cứu các yếu tố ảnh hưởng đến hiệu năng của thuật toán định tuyến là điều cần thiết, nhằm đưa ra các khuyến nghị phù hợp để việc áp dụng thuật toán định tuyến dựa trên học tăng cường mang lại hiệu quả tốt nhất. Đây chính là mục tiêu nghiên cứu của bài báo này. Các phần tiếp theo của bài báo được bố cục như sau: Phần 2 trình bày cách thức áp dụng học tằng cường vào điều khiển định tuyến trong mạng WMN. Các kết quả mô phỏng thực hiện trên hệ mô phỏng mã nguồn mở OMNeT++ và INET framework được phân tích chi tiết trong phần 3. Cuối cùng là kết luận và đề xuất hướng phát triển tiếp theo của chủ đề nghiên cứu này, được trình bày trong phần 4. 2 Ứng dụng của học tăng cường vào điều khiển định tuyến trong WMN 2.1 Cơ bản về học tăng cường Nguyên lý cơ bản của học tăng cường được minh họa như ở Hình 2. Thành phần chính của một hệ thống học tăng cường là các thực thể thực hiện nhiệm vụ học được gọi là các tác nhân

(agent). Các tác nhân thực hiện việc học thường xuyên bằng cách tương tác với môi trường thông qua các hành động để làm thay đổi môi trường, đồng thời thu được các giá trị phản hồi (reward), làm cơ sở cho việc lựa chọn hành động ở các lần học sau. Hình 2. Nguyên lý cơ bản của học tăng cường