PHÂN TÍCH CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN HIỆU QUẢ CỦA VIỆC ÁP DỤNG HỌC TĂNG CƯỜNG VÀO ĐIỀU KHIỂN ĐỊNH TUYẾN TRONG MẠNG KHÔNG DÂY HÌNH LƯỚI

jos.hueuni.edu.vn Tập 133, Số 2A, 2024 57 Hình 7. Ảnh hưởng của tải lưu lượng đến thời gian trễ trung bình khi tổng số WR là 50 Đánh giá ảnh hưởng của tổng số WR Một yếu tố khác cũng có ảnh hưởng lớn đến hiệu năng của kỹ thuật định tuyến dựa trên học tăng cường là tổng số WR. Chúng tôi cũng đã phân tích vấn đề này thông qua nhiều kịch bản mô phỏng khác nhau. Hình 8 là kết quả thu được khi thực thi 5 kịch bản mô phỏng với tổng số WR lần lượt là 30, 35, 40, 45 và 50, tải lưu lượng trung bình tại các WR là 3 Mbps. Các biểu đồ hộp trong Hình 8 cho thấy rằng khi tổng số WR càng nhiều thì thời gian khám phá lộ trình càng lớn. Cụ thể, xét kịch bản 30 WR, thời gian khám phá lộ trình phân bổ trong khoảng từ 0.02 đến 3.13 giây, trung vị là 0.46 giây và trung bình là 0.71 giây. Với kịch bản 50 WR, thời gian khám phá lộ trình tăng lên khá lớn, phân bổ trong khoảng từ 0.02 đến 5.98 giây, trung vị là 0.81 giây và trung bình là 1.19 giây. Nguyên nhân dẫn đến điều này là do khi tổng số WR nhiều, có một số lộ trình phải đi qua nhiều bước truyền và nhiều WR trung gian, muốn tìm thấy các lộ trình này thì các tác nhân (các WR) cần phải thực hiện nhiều lần học để cập nhật bảng Q-value, dẫn đến tăng thời gian tìm ra lộ trình. Trong trường hợp tải lưu lượng lớn hơn, thời gian khám phá lộ trình có giảm, tuy nhiên trường hợp hệ thống mạng có nhiều WR hơn thì vẫn có thời gian khám phá lộ trình lớn hơn. Điều này thể hiện rõ như các kết quả được trình bày trong Hình 9 và Hình 10, so sánh thời gian khám phá lộ trình của 5 kịch bản mô phỏng với tổng số WR lần lượt là 30, 35, 40, 45 và 50, tải lưu lượng

trung bình tại các WR là 6 Mbps (Hình 9) và 10 Mbps (Hình 10).