ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

Đặng Thanh Chương và CS. Tập 134, Số 2A, 2025 154 𝑎𝑡 = { argmax𝑎𝑡 𝑄(𝑠𝑡, 𝑎𝑡) 𝑣ớ𝑖 𝑥á𝑐 𝑠𝑢ấ𝑡 (1 − 𝜀) 𝑐ℎọ𝑛 ℎà𝑛ℎ độ𝑛𝑔 𝑛𝑔ẫ𝑢 𝑛ℎ𝑖ê𝑛 𝑣ớ𝑖 𝑥á𝑐 𝑠𝑢ấ𝑡 𝑒 (6) trong đó: • 𝜀 là tỷ lệ khám phá, thường nằm trong khoảng. Nếu 𝜀 cao, tác tử sẽ khám phá nhiều hơn. • Nếu 𝜀 thấp, tác tử sẽ ưu tiên khai thác. Ban đầu, 𝜀 được khởi tạo với giá trị cao để tăng cường khả năng khám phá trong giai đoạn đầu khi tác tử chưa có nhiều kinh nghiệm về môi trường. Sau đó, 𝜀 được điều chỉnh giảm dần sau mỗi episode theo công thức hàm mũ (exponential decay): 𝜀 ← max(𝜀𝑚𝑖𝑛, 𝜀 ∗ 𝜀𝑑𝑒𝑐𝑎𝑦 ) (7) Trong đó, 𝜀𝑑𝑒𝑐𝑎𝑦 (0 < 𝜀𝑑𝑒𝑐𝑎𝑦 < 1) là hệ số điều chỉnh tốc độ suy giảm, còn 𝜀𝑚𝑖𝑛 là ngưỡng tối thiểu nhằm duy trì một mức độ khám phá nhất định. Việc giảm 𝜀 theo thời gian giúp tác tử từng bước chuyển dịch từ giai đoạn khám phá sang khai thác, tập trung vào việc tối ưu hóa chính sách hành động dựa trên những gì đã học được. Đồng thời, việc kết hợp sử dụng bộ nhớ kinh nghiệm (replay buffer) và huấn luyện trên minibatch giúp tăng tính ổn định và khả năng tổng quát của chính sách học được. Chiến lược 𝜀 − greedy vì vậy giữ vai trò quan trọng trong việc ngăn tác tử hội tụ sớm vào các chính sách hành động cục bộ chưa tối ưu, từ đó góp phần đảm bảo quá trình hội tụ ổn định của thuật toán ERDQ-learning trong điều chỉnh ngưỡng HPA một cách thích nghi và hiệu quả, phù hợp với tính biến động theo thời gian thực của môi trường Kubernetes 3.3 Thuật toán học tăng cường ERDQ-learning phân chia tỉ lệ Pod dựa trên ngưỡng

Mô hình đề xuất sử dụng thuật toán ERDQ-learning với việc tích hợp thêm hai kỹ thuật nâng cao của học tăng cường là Experience Replay và Double Q-learning vào Q-learning truyền thống (được mô tả trong Hình 4), nhằm khắc phục các hạn chế của Q-learning truyền thống như chậm hội tụ, sai lệch trong đánh giá giá trị hành động và hiệu quả khám phá kém. Cụ thể: Experience Replay [15]: Kỹ thuật này sử dụng một bộ nhớ đệm (buffer) để lưu trữ các kinh nghiệm (state, action, reward, next_state) trong quá trình tác tử tương tác với môi trường. Tại mỗi bước huấn luyện, một minibatch gồm các mẫu được chọn ngẫu nhiên từ bộ đệm sẽ được sử dụng để cập nhật bảng 𝑄. Điều này không chỉ giúp giảm phương sai trong quá trình học mà còn cho phép tái sử dụng dữ liệu, từ đó cải thiện tính ổn định và hiệu quả hội tụ của thuật toán. Double Q-learning [16]: Nhằm khắc phục sai lệch đánh giá quá mức giá trị hành động (overestimation bias) thường gặp trong Q-learning truyền thống, phương pháp này duy trì đồng thời hai bảng 𝑄: 𝑄1 và 𝑄2, tại mỗi bước cập nhật, thuật toán sẽ chọn ngẫu nhiên một bảng 𝑄𝑖 ∈