ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

jos.hueuni.edu.vn Tập 134, Số 2A, 2025 147 Khác với cách tiếp cận thay thế hoàn toàn cơ chế điều phối tài nguyên, nghiên cứu này đề xuất một mô hình phối hợp giữa học tăng cường và HPA. Cụ thể, tác tử học tăng cường (RL agent) không trực tiếp quyết định số lượng Pod, mà điều chỉnh động ngưỡng sử dụng CPU mục tiêu (threshold) của HPA. Việc điều chỉnh này tác động đến quyết định phân chia tỉ lệ số lượng Pod của HPA, tức là điều chỉnh số lượng Pod được khởi tạo hay kết thúc. Trong mô hình đề xuất ở bài báo này, HPA vẫn giữ vai trò thực thi điều phối quy mô tài nguyên, đảm bảo an toàn và ổn định, trong khi RL đóng vai trò chiến lược, học từ dữ liệu quan sát được để tối ưu chính sách phân chia tỉ lệ theo thời gian thực. Cách tiếp cận này tận dụng ưu điểm của cả hai cơ chế: sự ổn định của HPA và khả năng thích nghi linh hoạt của RL trong môi trường serverless có tải biến động. Trong bài báo này, chúng tôi mô hình hóa bài toán phân chia tỉ lệ các Pod serverless trong Kubernetes thông qua tích hợp thuật toán học tăng cường, nhằm tối ưu hóa việc điều chỉnh ngưỡng HPA theo thời gian thực một cách linh hoạt và thích nghi với tải động. Mô hình đề xuất được trình bày chi tiết trong phần III của bài báo. Những đóng góp chính của bài báo gồm: (1). Đề xuất mô hình tích hợp học tăng cường vào HPA K8s trên cơ sở thuật toán ERDQ- learning (được cải tiến từ thuật toán Q-learning truyền thống) nhằm tự động phân chia tỉ lệ các Pod serverless dựa trên Kubernetes, cho phép điều khiển động các ngưỡng cố định trong HPA.

Mô hình cho phép tác tử học thích nghi với các đặc trưng thay đổi của hệ thống như: kích thước workload, quy mô triển khai, tốc độ phản hồi, độ phức tạp dịch vụ và các ngưỡng sử dụng tài nguyên hiện hành, từ đó đánh giá và đưa ra quyết định điều phối tài nguyên nhằm tối ưu hiệu suất và đảm bảo QoS. (2). Thực nghiệm mô phỏng trong môi trường có lưu lượng biến động phức tạp được sinh bằng công cụ Locust, nhằm kiểm chứng hiệu quả của mô hình đề xuất so với HPA truyền thống và HPA kết hợp Q-learning. Kết quả được phân tích và trình bày trong phần IV, cho thấy mô hình ERDQ-learning đạt được sự cân bằng tốt giữa độ trễ, tài nguyên sử dụng và tính ổn định chính sách. Nội dung tiếp theo của bài báo bao gồm: Phần II trình bày tổng quan các nghiên cứu liên quan về phân chia tỉ lệ tài nguyên trong môi trường serverless và các hướng tiếp cận học tăng cường. Mô tả chi tiết thiết kế mô hình và ERDQ-learning và phân tích bài toán phân chia tỉ lệ pod dựa ngưỡng được trình bày trong Phần III; Phần IV trình bày quá trình thực nghiệm và phân tích kết quả nhằm đánh giá hiệu quả của mô hình đề xuất. Cuối cùng là phần kết luận và hướng phát triển của bài báo.