ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

jos.hueuni.edu.vn Tập 134, Số 2A, 2025 157 cân bằng giữa chất lượng dịch vụ (QoS) và hiệu quả sử dụng tài nguyên trong môi trường serverless có tải biến thiên. Mô hình được huấn luyện trong tổng cộng 159 episode, mỗi episode gồm 25 bước (tương đương 260 giây). Thời gian huấn luyện thực tế đạt 41.340 giây (~11,48 giờ). Các tham số kỹ thuật của mô hình được trình bày trong Bảng 1. Bảng 1. Các giá trị tham số trong mô phỏng Tham số Ký hiệu Giá trị Số lượng nút master 1 Số lượng nút worker 1 Số Pod tối thiểu được khởi tạo trước 𝑀 1 Số Pod tối đa của hệ thống 𝐿 10 Hiệu suất CPU mục tiêu (%) 𝜌𝑡𝑎𝑟𝑔𝑒𝑡 59 Chu kỳ lấy mẫu (giây) 𝜏 10 Độ trễ SLA (giây) 𝐿𝑆𝐿𝐴 1 Thời gian huấn luyện (episode) 𝑇 159 Tốc độ học 𝛼 0.3 Hệ số chiết khấu 𝛾 0.9 Xác suất chọn hành động ngẫu nhiên 𝜀 1.0 Giá trị 𝜀 tối thiểu 𝜀𝑚𝑖𝑛 0.05 Tốc độ giảm 𝜀 sau mỗi episode 𝜀𝑑𝑒𝑐𝑎𝑦 0.995 Kích thước bộ nhớ kinh nghiệm 𝑁𝑏𝑢𝑓𝑓𝑒𝑟 3000 Số lượng mẫu 𝑁𝑏𝑎𝑡𝑐ℎ 64 Trong suốt quá trình thực nghiệm, cơ chế HPA mặc định của Kubernetes vẫn được duy trì hoạt động song song. Tác tử học tăng cường thực hiện điều chỉnh ngưỡng mục tiêu sử dụng CPU của HPA theo thời gian thực, dựa trên trạng thái hệ thống quan sát được. Cách tiếp cận này cho phép HPA tiếp tục vận hành như một cơ chế điều phối ổn định ở lớp hạ tầng, trong khi RL đóng vai trò chiến lược – học và điều chỉnh chính sách chia tỉ lệ một cách linh hoạt nhằm thích nghi hiệu quả hơn với các biến động của tải công việc. Cụ thể, khi tác tử RL chọn hành động “tăng”, “giảm” hoặc “giữ nguyên” ngưỡng HPA, các điều chỉnh này sẽ ảnh hưởng trực tiếp đến quyết

định phân chia tỉ lệ số lượng Pod trong các vòng điều khiển tiếp theo của HPA. Thiết kế này bảo đảm mối quan hệ phối hợp giữa RL và HPA: tác tử RL không hoàn toàn thay thế HPA mà tối ưu hóa quá trình hoạt động của nó bằng cách điều chỉnh tham số đầu vào quan trọng nhất. Cách tiếp cận này vừa duy trì được độ tin cậy và tính ổn định vốn có của HPA, vừa khai thác được khả năng học thích nghi theo thời gian của RL trong môi trường serverless có tải động.