ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

Tạp chí Khoa học Đại học Huế: Kỹ thuật và Công nghệ; pISSN 2588-1175 | eISSN 2615-9732 Tập 134, Số 2A, 2025, Tr. 143–163; DOI: 10.26459/hueunijtt.v134i2A.7972 * Liên hệ: dtchuong@hueuni.edu.vn Ngày nhận bài: 02–07–2025; Ngày nhận đăng: 16–07–2025 ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES Đặng Thanh Chương1*, Nguyễn Duy Sơn1, Nguyễn Đặng Duy Trinh2 1 Trường Đại học Khoa học, Đại học Huế, 77 Nguyễn Huệ, Thành phố Huế, Việt Nam 2 Trường Đại học Y Dược, Đại học Huế, 06 Ngô Quyền, Thành phố Huế, Việt Nam Tóm tắt. Trong môi trường điện toán đám mây không máy chủ (serverless), việc duy trì hiệu suất và chất lượng dịch vụ trước sự biến động của lưu lượng truy cập là một thách thức quan trọng. Cơ chế tự động phân chia tỷ lệ tài nguyên truyền thống - Horizontal Pod Autoscaler (HPA) vẫn được xem là một cơ chế cơ bản và cần thiết trong Kubernetes. Tuy nhiên, HPA chỉ sử dụng ngưỡng CPU cố định để điều chỉnh số lượng Pod, điều này dẫn đến phản ứng chậm hoặc điều phối kém hiệu quả trong môi trường có tải động. Bài báo này đề xuất một mô hình học tăng cường ERDQ-learning trên cơ sở cải tiến thuật toán Q-learning kết hợp 2 kỹ thuật Experience Replay và Double Q-learning (ERDQ-learning) nhằm tối ưu hóa quá trình phân chia tỷ lệ Pod serverless được triển khai mô phỏng trên nền tảng Kubernetes. Mục tiêu của thuật toán ERDQ-learning là nhằm điều chỉnh ngưỡng kích hoạt CPU của HPA một cách linh hoạt theo thời gian thực, dựa trên các trạng thái hệ thống bao gồm mức sử dụng CPU, số

lượng pod hiện tại, độ trễ và ngưỡng đang áp dụng. Kết quả thực nghiệm trên môi trường mô phỏng Kubernetes với lưu lượng biến đổi cho thấy mô hình ERDQ-learning cải thiện đáng kể khả năng thích ứng của hệ thống, giảm độ trễ dịch vụ và tối ưu hóa mức sử dụng tài nguyên so với cơ chế HPA truyền thống. Phương pháp đề xuất thể hiện tính khả thi và hiệu quả cao trong việc điều phối tài nguyên động cho các hệ thống serverless hiện đại. Từ khóa: Serverless Cloud, HPA, Pod, Reinforcement Learning, Double Q-learning ERDQ-learning: Reinforcement learning model integrating HPA for scaling serverless pods in Kubernetes Dang Thanh Chuong1*, Nguyen Duy Son1, Nguyen Dang Duy Trinh2 1 University of Science, Hue University, 77 Nguyen Hue Street, Hue City, Vietnam 2 University of Medicine and Pharmacy, Hue University, 06 Ngo Quyen Street, Hue City, Vietnam Abstract. In serverless cloud computing environments, maintaining performance and Quality of Service (QoS) under fluctuating traffic conditions remains a significant challenge. The traditional Horizontal Pod Autoscaler (HPA) in Kubernetes, while fundamental, relies solely