PHÂN TÍCH CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN HIỆU QUẢ CỦA VIỆC ÁP DỤNG HỌC TĂNG CƯỜNG VÀO ĐIỀU KHIỂN ĐỊNH TUYẾN TRONG MẠNG KHÔNG DÂY HÌNH LƯỚI

Lê Hữu Bình và Lê Đức Huy Tập 133, Số 2A, 2024 50 Xét một thời điểm t, giả sử môi trường lúc đó đang ở trạng thái st, khi cần thực hiện nhiệm vụ học, tác nhân tương tác với môi trường bằng hành động at. Với hành động này, môi trường chuyển từ trạng thái st thành trạng thái st+1, đồng thời tác nhân nhận được một giá trị phản hồi rt. Ở các lần học tiếp theo, dựa trên các giá trị phản hồi thu được ở các lần học trước, tác nhân lựa chọn hành động sao cho giá trị phản hồi thu được là tốt nhất. Chính sách này được gọi là chính sách -greegy. Gọi Q(st, at) là tổng giá trị giá trị phản hồi nhận được khi tác nhân thực hiện hành động at tại trạng thái st, bằng cách áp dụng thuật toán Q-Learning, giá trị Q(st, at) được xác định như sau [7]: 𝑄(𝑠𝑡 , 𝑎𝑡) = (1 − 𝛼)𝑄(𝑠𝑡, 𝑎𝑡 + 𝛼[𝑅(𝑠𝑡, 𝑎𝑡) + 𝛾𝑚𝑎𝑥 ∀𝑎𝑡+1 𝑄(𝑠𝑡+1, 𝑎𝑡+1)] (1) trong đó   [0, 1] là hệ số tỷ lệ học và   [0, 1] là hệ số chiết khấu. Để sớm thu được giá trị Q tốt nhất, thuật toán Q-learning thường sử dụng chính sách - greegy để lựa chọn hành động tại mỗi thời điểm. Gọi A(st) là tập hành động khả thi khi môi trường ở trạng thái st, (at, st) là xác suất mà tác nhân lựa chọn hành động at tại trạng thái st. Theo chính sách -greegy ta có [17]: 𝜋(𝑎𝑡, 𝑠𝑡) = { 1 − 𝜀 |𝐴(𝑠𝑡)| nếu 𝑎𝑡 = 𝑎𝑡 ∗ 𝜀 |𝐴(𝑠𝑡)| ngược lại (2) trong đó  là một giá trị đủ nhỏ, thường thiết lập bằng 0.1, 𝑎𝑡 ∗ được xác định như sau: 𝑎𝑡 ∗ = max 𝐴(𝑠𝑡) 𝑄(𝑎𝑡, 𝑠𝑡) (3) 2.2 Áp dụng vào điều khiển định tuyến Để áp dụng học tăng cường vào điều khiển định tuyến, chúng tôi mô hình hóa hệ thống

mạng thành mô hình học tăng cường như cho thấy ở Hình 3. dựa trên ý tưởng như trong [14]. Trong trường hợp này, tác nhân là các nút mạng, cụ thể là các bộ định tuyến không dây (WR). Môi trường là toàn bộ hệ thống mạng. Tập trạng thái đối với tác nhân là tập các nút láng giềng tại thời điểm xem xét, tình trạng của các kết nối đến các nút láng giềng đó. Tập hành động là gửi gói dữ liệu đến một nút láng giềng và nhận gói ACK. Bảng giá trị Q tương ứng với bảng định tuyến của mỗi nút, giá trị phản hồi (reward) chính là trọng số của lộ trình tương ứng.