PHÂN TÍCH CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN HIỆU QUẢ CỦA VIỆC ÁP DỤNG HỌC TĂNG CƯỜNG VÀO ĐIỀU KHIỂN ĐỊNH TUYẾN TRONG MẠNG KHÔNG DÂY HÌNH LƯỚI

jos.hueuni.edu.vn Tập 133, Số 2A, 2024 55 4.2 Kết quả mô phỏng và thảo luận Đánh giá ảnh hưởng của tải lưu lượng Trước tiên, chúng tôi phân tích ảnh hưởng của tải lưu lượng đến hiệu quả của việc áp dụng học tăng cường vào điều khiển định tuyến. Kết quả thu được ở Hình 4 cho thấy rõ ảnh hưởng của tải lưu lượng đến thời gian khám phá lộ trình trong trường hợp tổng số WR là 40. Độ đo về thời gian khám phá lộ trình trong kịch bản này được xác định từ khi mạng bắt đầu hoạt động cho đến khi tất cả các WR tìm được lộ trình đến GR. Các biểu đồ hộp trên Hình 4 cho thấy rằng, tải lưu lượng càng cao thì thời gian khám phá lộ trình càng nhỏ, nghĩa là hiệu quả của thuật toán định tuyến càng cao. Xét trường hợp tải lưu lượng là 1 Mbps, thời gian khám phá lộ trình từ tất cả các WR đến GR trong khảng từ 0,77 đến 11,47 giây, giá trị trung vị là 1,69 giây, trung bình là 2.60 giây. Khi tải lưu lượng tăng lên 10 Mbps, thời gian khám phá lộ trình giảm một cách đáng kể, chỉ trong khoảng từ 0,19 đến 1,36 giây, giá trị trung vị là 0,19 giây và trung bình là 0,27 giây. Nguyên nhân là do việc cập nhật bảng Q-value bằng thuật toán Q-learning ở các WR phụ thuộc vào mật độ gói dữ liệu đến tại mỗi nút. Theo nguyên lý hoạt động của thuật toán định tuyến dựa trên học tăng cường như đã trình bày ở phần trước, việc cập nhật bảng Q-value được thực hiện thông qua các gói dữ liệu và gói ACK. Vì vậy, khi mật độ gói dữ liệu đến càng cao, số lần cập nhật lại bảng Q-value bởi các tác nhân (WR) càng nhiều, dẫn đến thuật toán càng sớm hội tụ. Kết quả cũng hoàn toàn tương tự cho kịch bản 50 WR,

như cho thấy ở Hình 5, thời gian khám phá lộ trình càng nhỏ khi tải lưu lượng càng lớn. Hình 4. Ảnh hưởng của tải lưu lượng đến thời gian khám phá lộ trình khi tổng số WR là 40