ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

jos.hueuni.edu.vn Tập 134, Số 2A, 2025 155 {𝑄1, 𝑄2 } để cập nhật, bảng còn lại là 𝑄𝑗 (với 𝑖 ≠ 𝑗) được sử dụng để ước lượng giá trị hành động tốt nhất tại trạng thái tiếp theo. Công thức cập nhật được thực hiện như sau: 𝑄𝑖(𝑠, 𝑎) ← 𝑄𝑖 (𝑠, 𝑎) + 𝛼 ∗ [𝑟 + 𝛾 ∗ 𝑄𝑗 (𝑠′, 𝑎𝑟𝑔𝑚𝑎𝑥𝑎′ 𝑄𝑖(𝑠′, 𝑎′)) − 𝑄𝑖 (𝑠, 𝑎)] (8) Trong đó: - 𝑠: trạng thái hiện tại - 𝑎: hành động đã thực hiện - 𝛼 (learning rate): tốc độ học. - 𝑟 (reward): phần thưởng nhận được sau mỗi hành động. - 𝛾 (discount factor): hệ số chiết khấu phần thưởng tương lai. - 𝑎𝑟𝑔𝑚𝑎𝑥𝑎′ 𝑄𝑖 (𝑠′, 𝑎′): hành động tốt nhất ở trạng thái tiếp theo theo bảng 𝑄𝑖 Hình 4. Tích hợp hai kỹ thuật Experience Replay và Double Q-learning trong mô hình đề xuất Hình 4 minh họa cơ chế hoạt động của tác tử trong mô hình đề xuất, khi kết hợp đồng thời hai kỹ thuật Experience Replay và Double Q-learning nhằm nâng cao độ ổn định và hiệu quả trong quá trình huấn luyện. Quy trình này bao gồm các bước chính sau: (1) Tác tử nhận trạng thái hiện tại 𝑠 từ môi trường. (2) Tác tử chọn hành động 𝑎 theo chính sách 𝜀-greedy: sử dụng một trong hai bảng 𝑄 (𝑄1 hoặc 𝑄2) để chọn hành động có giá trị tối ưu tại trạng thái hiện tại, trong khi bảng còn lại được để đánh giá giá trị hành động đó.