ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

Đặng Thanh Chương và CS. Tập 134, Số 2A, 2025 148 2 Các công trình nghiên cứu liên quan Nghiên cứu của Zhang và cộng sự [9] đã triển khai thuật toán Q-learning kết hợp cả phân chia tỉ lệ theo chiều ngang (Horizontal Scaling) và phân chia tỉ lệ theo chiều dọc (Vertical Scaling). Thử nghiệm trên một ứng dụng thương mại điện tử cho thấy phương pháp này giảm chi phí tài nguyên mà vẫn duy trì chất lượng dịch vụ (QoS). Đặc biệt, việc kết hợp hai loại phân chia tỉ lệ này giúp hệ thống đạt được sự cân bằng giữa hiệu suất và chi phí vận hành. Tương tự, Qiu và cộng sự [10] sử dụng thuật toán Proximal Policy Optimization (PPO) để phân chia tỉ lệ tài nguyên. Nghiên cứu của họ thực hiện trên cả dữ liệu tổng hợp và thực tế, nhấn mạnh vào thời gian hội tụ và độ chính xác trong việc dự đoán tải. Kết quả cho thấy PPO vượt trội hơn các thuật toán truyền thống nhờ khả năng thích nghi nhanh chóng với các biến động lớn trong tải. Nghiên cứu của Benedetti và cộng sự [3] đề xuất một tác tử dựa trên Q-learning để điều chỉnh ngưỡng CPU trong Horizontal Pod Autoscaler (HPA) của Kubernetes và tiến hành một loạt các thử nghiệm tải trên hệ thống với các ngưỡn CPU cố định khác nhau. Họ so sánh bộ tự động điều chỉnh Q-learning và HPA dựa trên trên tài nguyên với ngưỡng cố định trong độ trễ của các ứng dụng. Kết quả thực nghiệm chỉ ra rằng RL có thể cải thiện đáng kể mức sử dụng tài nguyên trong khi vẫn duy trì độ trễ gần với điều kiện lý tưởng. Nghiên cứu của Rossi và cộng sự [11] triển khai một mạng Deep Q-Network (DQN) để tự động điều chỉnh tài nguyên, bao gồm

mức sử dụng CPU, bộ nhớ của cơ sở hạ tầng và thời gian phản hồ của ứng dụng. Kết quả cho thấy rằng DQN có thể cân bằng tốt giữa hiệu suất và chi phí, mặc dù cần thêm nghiên cứu để giảm độ trễ trong các hệ thống có tải lớn. Ngược lại với công trình của Rossi và cộng sự, Khaleq và cộng sự [12] chỉ tập trung vào các giải pháp dựa trên học tăng cường (Reinforcement Learning - RL) và thực hiện một so sánh chi tiết giữa các loại thuật toán RL khác nhau, được triển khai nhằm thay đổi ngưỡng sử dụng tài nguyên của HPA trong môi trường Kubeless. Các thí nghiệm được thực hiện với cả các ứng dụng tiêu tốn bộ nhớ (Memory-intensive) và tiêu tốn CPU (CPU-intensive) để làm rõ sự khác biệt giữa các thuật toán RL trong các loại ứng dụng khác nhau. Kết quả của nghiên cứu cho thấy hệ thống tự động phân chia tỉ lệ thông minh được đề xuất có thể cải thiện thời gian phản hồi của các microservices lên đến 20% so với các phương pháp tự động phân chia tỉ lệ truyền thống. Hệ thống cũng duy trì chất lượng dịch vụ (QoS) và đáp ứng các yêu cầu của ứng dụng thời gian thực, trong khi giảm thiểu sự can thiệp của người dùng. Điều này chứng minh rằng việc sử dụng RL có thể tối ưu hóa việc điều chỉnh quy mô tài nguyên trong các ứng dụng thời gian thực trên nền tảng đám mây. Học tăng cường đang nổi lên như một trong những phương pháp đầy hứa hẹn trong việc giải quyết các bài toán tối ưu hóa tài nguyên có tính động cao, đặc biệt trong môi trường điện toán đám mây serverless – nơi hiệu năng, khả năng thích ứng và chi phí vận hành là những yếu

tố then chốt. Trong bối cảnh đó, các cơ chế quản lý tài nguyên truyền thống như HPA của