ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

Đặng Thanh Chương và CS. Tập 134, Số 2A, 2025 144 on fixed CPU utilization thresholds to scale Pods, often resulting in delayed responses or inefficient orchestration in dynamic load scenarios. This paper proposes an enhanced reinforcement learning approach, ERDQ-learning, which integrates Experience Replay and Double Q-learning to optimize the scaling behavior of serverless Pods. The ERDQ-learning model dynamically adjusts HPA’s CPU activation threshold in real time, using system state parameters such as CPU utilization, current Pod count, response latency, and the existing threshold. Experimental evaluations in a simulated Kubernetes environment with varying traffic patterns demonstrate that ERDQ-learning significantly enhances system adaptability, reduces latency, and improves resource efficiency compared to the traditional HPA. These results highlight the feasibility and effectiveness of the proposed model for intelligent resource orchestration in modern serverless systems. Keywords: Serverless Cloud, HPA, Pod, Reinforcement Learning, Double Q-learning 1 Giới thiệu Trong những năm gần đây, kiến trúc điện toán đám mây không máy chủ (serverless computing) đã nổi lên như một mô hình triển khai ứng dụng linh hoạt, cho phép các nhà phát triển tập trung vào logic chức năng mà không cần quản lý trực tiếp hạ tầng máy chủ. Mô hình này hỗ trợ thực thi theo sự kiện (event-driven) và tự động phân bổ tài nguyên dựa trên nhu cầu thực tế, góp phần tối ưu chi phí vận hành và nâng cao khả năng mở rộng dịch vụ [1] [2]. Khác

với các mô hình điện toán đám mây truyền thống, nơi tài nguyên được phân bổ cố định, đám mây không máy chủ khai thác khả năng phân bổ tài nguyên động, cho phép giảm thiểu số lượng phiên bản (instance) hoạt động khi không có nhu cầu. Kiến trúc này thường được hiện thực hóa dưới dạng Functions-as-a-Service (FaaS), trong đó các chức năng ứng dụng được triển khai dưới dạng các hàm độc lập, vận hành trong môi trường container hóa [3]. Thay vì triển khai toàn bộ một nền tảng hoặc ứng dụng phức tạp, FaaS chỉ cần triển khai các hàm đơn lẻ – các thành phần cốt lõi của ứng dụng, được kích hoạt theo yêu cầu. Các hàm này được tải động vào các containers, có thể mở rộng song song một cách hiệu quả, và không yêu cầu can thiệp ở cấp hệ điều hành. Hạ tầng thực thi được điều phối tự động bởi các nhà cung cấp dịch vụ đám mây nhằm tối ưu hóa hiệu suất sử dụng tài nguyên. Nhờ đặc tính này, serverless đã trở thành một mô hình triển khai tiềm năng trong các môi trường điện toán biên không máy chủ (serverless edge computing). Mô hình mang lại nhiều lợi ích cho cả nhà phát triển và doanh nghiệp, đặc biệt trong việc giảm chi phí, tự động hóa quy trình triển khai, và tối ưu tài nguyên. Một trong những lợi ích quan trọng nhất là khả năng tự động phân chia tỷ lệ (auto-scaling), cho phép ứng dụng tự động mở rộng hoặc thu hẹp quy mô theo tải thực tế mà không cần cấu hình thủ công, đảm bảo hiệu năng ổn định ngay cả khi lưu lượng tăng đột biến [4]. Kubernetes (K8s) là một nền tảng mã nguồn mở được thiết kế để tự động hóa việc triển

khai, quản lý và mở rộng các ứng dụng container hóa. Được phát triển bởi Google và hiện nay được duy trì bởi Cloud Native Computing Foundation (CNCF), Kubernetes đã trở thành nền tảng tiêu chuẩn trong quản lý hạ tầng container nhờ vào tính linh hoạt và khả năng vận hành mạnh mẽ