ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

Đặng Thanh Chương và CS. Tập 134, Số 2A, 2025 158 Để đánh giá hiệu quả điều phối tài nguyên giữa ba cơ chế : HPA truyền thống, HPA kết hợp với Q-learning và HPA kết hợp với ERDQ-learning, chúng tôi thực hiện các thực nghiệm mô phỏng trong cùng điều kiện tải và thời gian tương ứng với quá trình huấn luyện của ERDQ- learning. Kết quả thực nghiệm được tổng hợp và trình bày qua các biểu đồ và bảng so sánh, bao gồm: - Biểu đồ so sánh phần thưởng trung bình theo từng chu kỳ (episode) giữa Q-learning truyền thống và ERDQ-learning, - Biểu đồ đánh giá độ trễ trung bình và số lượng Pod trung bình giữa ba cơ chế: HPA, HPA + Q-learning và HPA + ERDQ-learning. - Bảng so sánh số Pod trung bình được triển khai và độ trễ trung bình giữa các cơ chế. Biểu đồ trong Hình 5 thể hiện sự thay đổi phần thưởng trung bình theo từng episode trong quá trình huấn luyện của hai mô hình: ERDQ-learning (cải tiến) và Q-learning truyền thống. Hình 5. Biểu đồ phần thưởng trung bình theo episode Trong giai đoạn đầu, cả hai đều có phần thưởng dao động mạnh do chính sách chưa ổn định. Tuy nhiên, Q-learning cho thấy sự bất ổn rõ rệt, đặc biệt ở các episode 58–60, phản ánh việc tác tử gặp khó khăn trong việc tìm ra chiến lược điều phối hiệu quả, dẫn đến tình trạng thừa hoặc thiếu Pod. Trong khi đó, ERDQ-learning thể hiện xu hướng hội tụ nhanh hơn và ổn định hơn đáng kể. Từ episode 70 trở đi, phần thưởng của ERDQ-learning duy trì ổn định quanh mức 590– 600 mà không có hiện tượng suy giảm đột ngột như Q-learning. Kết quả này cho thấy việc kết

hợp Experience Replay và Double Q-learning trong ERDQ-learning giúp tăng tốc độ hội tụ và ổn định chính sách học được, góp phần nâng cao hiệu quả điều phối tài nguyên, giảm độ trễ và đảm bảo QoS trong môi trường serverless có tải biến thiên.