ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

jos.hueuni.edu.vn Tập 134, Số 2A, 2025 159 Hình 6 minh họa sự thay đổi của số lượng Pod trung bình theo từng episode đối với ba cơ chế điều phối: HPA truyền thống, HPA kết hợp với Q-learning, và HPA kết hợp với ERDQ- learning. Trong đó, HPA truyền thống (đường màu đỏ) duy trì số lượng Pod khá ổn định, dao động quanh mức 5–6 Pod trong suốt quá trình, phản ánh một chiến lược điều phối mang tính thận trọng, ít thích nghi với biến động tải và dễ dẫn đến khả năng dư thừa tài nguyên khi không cần thiết. Ngược lại, cơ chế sử dụng Q-learning (màu cam) thể hiện sự dao động mạnh về số lượng Pod, lên xuống liên tục từ 1 đến 6 Pod, đặc biệt rõ rệt trong giai đoạn giữa của huấn luyện (từ episode 40 đến 140). Điều này cho thấy tác tử Q-learning truyền thống vẫn chưa học được chính sách cân bằng hiệu quả giữa độ trễ dịch vụ và chi phí tài nguyên, dẫn đến phản ứng không ổn định với tải thay đổi. Trong khi đó, ERDQ-learning (đường màu xanh lá) thể hiện khả năng điều phối hiệu quả hơn khi duy trì số lượng Pod dao động ổn định trong khoảng 2–3 Pod. Mô hình này cho thấy tác tử đã học được chính sách phù hợp, tiết kiệm tài nguyên nhưng vẫn đảm bảo chất lượng dịch vụ. Tổng thể, ERDQ-learning vượt trội hơn cả về hiệu quả sử dụng tài nguyên và tính ổn định trong suốt quá trình huấn luyện. Hình 6. Biểu đồ minh họa sự thay đổi của số lượng Pod trung bình qua từng episode Hình 7 thể hiện độ trễ trung bình của dịch vụ theo từng episode đối với ba cơ chế điều phối: HPA truyền thống, HPA kết hợp Q-learning và HPA kết hợp ERDQ-learning. Theo đó,

HPA truyền thống (đường màu đỏ) duy trì độ trễ trung bình ổn định trong khoảng 0.43–0.46 giây, tuy ít biến động nhưng không có dấu hiệu cải thiện rõ rệt trong suốt quá trình huấn luyện, cho thấy khả năng phản ứng còn hạn chế trước các thay đổi của tải. Cơ chế Q-learning (màu cam) giúp cải thiện độ trễ xuống khoảng 0.36–0.37 giây, cho thấy hiệu quả cao hơn so với HPA thông thường. Tuy nhiên, vẫn xuất hiện các pha dao động nhẹ về độ trễ, phản ánh chính sách điều phối chưa hoàn toàn ổn định. Trong khi đó, ERDQ-learning (đường màu xanh lá) đạt được độ trễ thấp nhất, dao động ổn định quanh mức 0.33–0.35 giây và duy trì tính ổn định đó xuyên suốt quá trình huấn luyện. Như vậy ERDQ-learning không chỉ tiết kiệm tài nguyên mà còn đảm bảo chất lượng