ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

jos.hueuni.edu.vn Tập 134, Số 2A, 2025 161 Điều này phản ánh khả năng học chính sách hiệu quả hơn của ERDQ-learning, giúp tác tử đưa ra quyết định điều phối tài nguyên tốt hơn theo thời gian Sự cải thiện rõ rệt này có thể được lý giải bởi khả năng học hỏi và thích ứng linh hoạt của mô hình ERDQ-learning. Khác với HPA truyền thống vốn chỉ dựa trên một ngưỡng CPU cố định và không có khả năng điều chỉnh theo thời gian thực, cũng như Q-learning truyền thống thường gặp phải hiện tượng sai lệch đánh giá quá mức giá trị hành động (overestimation bias) do sử dụng một bảng 𝑄 duy nhất và không có cơ chế lưu trữ kinh nghiệm, ERDQ-learning đã khắc phục đồng thời cả hai điểm yếu này nhờ kết hợp hai kỹ thuật: Experience Replay giúp lưu trữ và tái sử dụng kinh nghiệm tương tác với môi trường nhằm tăng tính ổn định và đa dạng dữ liệu huấn luyện và Double Q-learning sử dụng hai bảng 𝑄 độc lập để tách biệt quá trình lựa chọn và đánh giá hành động, từ đó giảm thiểu sai lệch trong quá trình cập nhật giá trị. Trong nghiên cứu này, tải hệ thống được tạo ra bởi công cụ Locust, bao gồm nhiều đặc điểm biến thiên theo thời gian thực như: xu hướng dài hạn, dao động ngắn hạn, các pha burst ngẫu nhiên và xu hướng tăng dần theo thời gian. Việc đánh giá mô hình trong một môi trường có tính biến động cao như vậy càng khẳng định khả năng thích nghi và hiệu quả điều phối của ERDQ-learning trong điều kiện vận hành thực tế. Do đó, ERDQ-learning được xem là một hướng tiếp cận khả thi và hiệu quả cho việc điều chỉnh ngưỡng HPA trong các hệ thống serverless hiện đại. 5 Kết luận

Kết quả thực nghiệm cho thấy mô hình học tăng cường với thuật toán ERDQ-learning vượt trội so với phương pháp HPA truyền thống, giảm 47.81% số pod được triển khai, đảm bảo độ trễ thấp và ổn định, cải thiện QoS với latency trung bình 0.3460 giây (thấp hơn 10.22% so với 0.3854 giây của HPA cố định). Khả năng thích nghi của mô hình được thể hiện qua việc điều chỉnh linh hoạt ngưỡng HPA (từ 20% đến 100%), giúp hệ thống phản ứng hiệu quả với tải công việc biến động, đồng thời duy trì số pod ở mức tối ưu. Từ các kết quả trên, có thể khẳng định rằng ERDQ- learning là một bước cải tiến rõ rệt so với Q-learning truyền thống trong bài toán điều phối tài nguyên cho môi trường serverless. Mô hình không chỉ giúp tác tử học nhanh và ổn định hơn, mà còn hình thành chính sách điều phối hiệu quả, giảm thiểu đáng kể độ trễ dịch vụ và số lượng pod dao động. Nhờ đó, ERDQ-learning đạt được sự cân bằng tốt giữa hiệu quả tài nguyên và chất lượng dịch vụ (QoS) trong điều kiện tải biến thiên. Mô hình có thể được mở rộng với việc xem xét đa mục tiêu với hàm thưởng cũng như áp dụng các thuật toán học tăng cường sâu nhằm tối ưu hơn hiệu năng của hệ thống.