ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

Đặng Thanh Chương và CS. Tập 134, Số 2A, 2025 156 (3) Tác tử thực hiện hành động 𝑎 trong môi trường, đồng thời nhận về phần thưởng 𝑟 và trạng thái tiếp theo 𝑠′. (4) Kinh nghiệm (𝑠, 𝑎, 𝑟, 𝑠′) được lưu vào bộ đệm kinh nghiệm để sử dụng trong quá trình huấn luyện. (5) Khi bộ đệm đủ lớn, một minibatch ngẫu nhiên từ được lấy từ bộ đệm kinh nghiệm để cập nhật giá trị. (6) Một trong hai bảng 𝑄 (𝑄1 hoặc 𝑄2) được chọn ngẫu nhiên để cập nhật theo công thức (8), bảng còn lại được sử dụng để đánh giá giá trị hành động tại trạng thái kế tiếp. (7) Cập nhật trạng thái hiện tại 𝑠 ← 𝑠′, lặp lại chu trình từ Bước (1). Quá trình thực thi ERDQ-learning được mô tả trong Thuật toán 2 dưới đây: Thuật toán 2 – Thuật toán ERDQ-learning Input: Trạng thái 𝑆 = {𝑠1, 𝑠2, . . . . , 𝑠𝑛}, Hành động 𝐴 = {𝑠𝑐𝑎𝑙𝑒_𝑖𝑛, 𝑠𝑐𝑎𝑙𝑒_𝑜𝑢𝑡, 𝑛𝑜_𝑐ℎ𝑎𝑛𝑔𝑒}, Hai bảng giá trị 𝑄1(𝑠, 𝑎) và 𝑄2(𝑠, 𝑎). Tham số: 𝛼, 𝛾, 𝜀, 𝜀𝑚𝑖𝑛, 𝜀𝑑𝑒𝑐𝑎𝑦, 𝑏𝑎𝑡𝑐ℎ_𝑠𝑖𝑧𝑒. Output: Hai bảng 𝑄1 (𝑠, 𝑎) và 𝑄2 (𝑠, 𝑎) đã cập nhật. Khởi tạo 𝑄1(𝑠, 𝑎) ← 0 và 𝑄2(𝑠, 𝑎) ← 0. Khởi tạo bộ nhớ kinh nghiệm 𝐷 ← ∅. Lặp (cho từng episode): Quan sát trạng thái hiện tại 𝑠 từ môi trường. Lặp (cho mỗi bước của episode): Chọn hành động 𝑎𝑡 từ trạng thái 𝑠 theo 𝜀-greedy Thực hiện 𝑎𝑡 → nhận 𝑟 , 𝑠′ Lưu (𝑠, 𝑎𝑡, 𝑟, 𝑠′) vào 𝐷. Nếu |𝐷| ≥ 𝑏𝑎𝑡𝑐ℎ_𝑠𝑖𝑧𝑒 Lấy minibatch 𝐵 gồm các mẫu ngẫu nhiên từ 𝐷 Với mỗi (𝑠, 𝑎, 𝑟, 𝑠′) ∈ 𝐵: Chọn ngẫu nhiên 𝑖 ∈ {1,2}; 𝑗 = 3 − 𝑖 𝑄𝑖(𝑠, 𝑎) ← 𝑄𝑖(𝑠, 𝑎) + 𝛼 ∗ [𝑟 + 𝛾 ∗ 𝑄𝑗(𝑠′, 𝑎𝑟𝑔𝑚𝑎𝑥𝑎′ 𝑄𝑖(𝑠′, 𝑎′)) − 𝑄𝑖(𝑠, 𝑎)]

Cập nhật: 𝑠 ← 𝑠′, 𝜀 ← max(𝜀𝑚𝑖𝑛, 𝜀 ∗ 𝜀𝑑𝑒𝑐𝑎𝑦) Lặp mỗi episode đến khi hội tụ. 4 Phân tích kết quả Trong phần này, chúng tôi tiến hành đánh giá hiệu quả huấn luyện của mô hình học tăng cường và so sánh với cơ chế Horizontal Pod Autoscaler (HPA) truyền thống trong Kubernetes. Mục tiêu là làm rõ khả năng của mô hình ERDQ-learning (được đề xuất trong bài báo) trong việc