PHÂN TÍCH CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN HIỆU QUẢ CỦA VIỆC ÁP DỤNG HỌC TĂNG CƯỜNG VÀO ĐIỀU KHIỂN ĐỊNH TUYẾN TRONG MẠNG KHÔNG DÂY HÌNH LƯỚI

jos.hueuni.edu.vn Tập 133, Số 2A, 2024 53 3 Các yếu tố ảnh hưởng đến hiệu năng của thuật toán định tuyến dựa trên học tăng cường Hiệu năng của thuật toán định tuyến dựa trên học tăng cường phụ thuộc chủ yếu vào độ hội tụ của thuật toán, cụ thể là thời gian mà các WR học được bảng định tuyến. Từ nguyên lý hoạt động của thuật toán định tuyến như được trình bày ở phần trên ta thấy rằng, độ hội tụ của thuật toán phụ thuộc chủ yếu vào tải lưu lượng phân phối đến các WR, tổng số WR trong mạng. Ngoài ra, hệ số tỷ lệ học (α) và hệ số chiến khấu () trong phương trình cập nhật Q-value (phương trình (1)) cũng có ảnh hưởng đến độ hội tụ của thuật toán. 3.1 Ảnh hưởng của tải lưu lượng Theo nguyên lý hoạt động của thuật toán định tuyến dựa trên học tăng cường (thuật toán 1), các WR cập nhật bảng Q-values mỗi khi nó nhận được một gói phản hồi ACK từ một nút láng giềng. Để một nút nhận được gói ACK, nút đó phải thực hiện việc truyền dữ liệu. Vì vậy, số lần cập nhật bảng Q-values phụ thuộc vào tải lưu lượng phân phối đến mỗi nút. Có hai đặc trưng của của lưu lượng trong mạng ảnh hưởng đến độ hội tụ của thuật toán. Một là mật độ lưu lượng, đặc trưng này xác định tần suất cập nhật bảng Q-values của các WR. Hai là đặc tính phân bố của tải lưu lượng. Tải lưu lượng phân bố càng đồng đều cho tất cả các WR trong mạng thì thuật toán càng nhanh hội tụ. 3.2 Ảnh hưởng của tổng số WR Tổng số WR trong mạng là một yếu tố có ảnh hưởng lớn đến độ hội tụ của thuật toán định tuyến dựa trên học tăng cường. Để các WR có thể học được lộ trình tốt nhất đến các nút đích, mỗi

WR cần phải có thông tin về Q-value của tất cả các lộ trình từ WR đó đến đích. Điều này chỉ có thể đạt được nhờ việc trao đổi thông tin giữa các WR. Với thuật toán định tuyến dựa trên học tăng cường, việc trao đổi thông tin về Q-value được thực hiện thông qua việc truyền gói dữ liệu và gói ACK giữa các WR. Vì vậy, tổng số WR trong mạng WMN có ảnh hưởng đến độ hội tụ của thuật toán định tuyến. Số WR càng lớn thì thời gian hộ tụ càng chậm do mỗi WR cần phải thực hiện nhiều lần cập nhật Q-value hơn để tìm được lộ trình tốt nhất đến đích. 4 Kết quả mô phỏng và thảo luận Trong phần này, chúng tôi sử dụng phương pháp mô phỏng để phân tích các yếu tố ảnh hưởng đến hiệu năng của thuật toán định tuyến sử dụng học tăng cường được trình bày ở trên.