ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

Đặng Thanh Chương và CS. Tập 134, Số 2A, 2025 150 Trong mô hình được xây dựng, các hàm chức năng serverless được đóng gói thành các Pod trong Kubernetes dưới dạng Deployment, như firewall-deployment trong kiến trúc hệ thống. Mỗi Pod đảm nhận việc xử lý một đơn vị chức năng serverless, phản hồi các yêu cầu được gửi đến từ người dùng thông qua API Gateway. HPA sẽ giám sát các chỉ số như mức sử dụng CPU của Pod để quyết định việc phân chia tỉ lệ (scale-out/scale-in) số lượng Pod theo thời gian thực. Trong hệ thống được triển khai, HPA được tích hợp với thuật toán học tăng cường ERDQ- learning nhằm điều chỉnh ngưỡng kích hoạt phân chia tỉ lệ một cách chủ động, thay vì sử dụng giá trị ngưỡng cố định như HPA truyền thống. Môi trường huấn luyện được xây dựng dựa trên nền tảng OpenAI Gym, một thư viện mã nguồn mở tiêu chuẩn cho phát triển và đánh giá các thuật toán học tăng cường [14]. Trong mô hình này, Gym được mở rộng để tương tác trực tiếp với cụm Kubernetes, thông qua các thành phần như Metrics Server (thu thập chỉ số CPU, số lượng Pod) và hệ thống đo độ trễ dịch vụ. Dựa trên trạng thái hệ thống hiện tại, tác tử thực hiện hành động (điều chỉnh ngưỡng HPA) và nhận về phần thưởng (reward) đánh giá hiệu quả hành động đó, với mục tiêu đạt được sự cân bằng tối ưu giữa hai yếu tố: giảm thiểu lãng phí tài nguyên và duy trì chất lượng dịch vụ (QoS). Cấu trúc tổng thể của mô hình bao gồm bốn thành phần chính: không gian hành động (Action Space), không gian trạng thái (State Space), hàm phần thưởng (Reward Function) và tác

tử học tăng cường (Reinforcement Learning Agent). Trong đó, ba thành phần đầu đóng vai trò xác định môi trường và quy tắc học tập cho tác tử, còn tác tử chịu trách nhiệm học và ra quyết định dựa trên kinh nghiệm tích lũy. Mô hình sử dụng thuật toán Q-learning kết hợp với hai kỹ thuật tăng cường là Experience Replay [15] và Double Q-learning [16] nhằm cải thiện hiệu suất hội tụ và độ tin cậy của chính sách học được. Sơ đồ huấn luyện học tăng cường theo thuật toán ERDQ-learning trong mô hình phân chia tỉ lệ Pod serverless bằng HPA trong Kubernetes được biểu diễn trong Hình 3. Chi tiết cơ chế hoạt động của mô hình trong Hình 3 sẽ được chúng tôi trình bày ở các phần tiếp theo của bài báo này. Hình 3. Sơ đồ huấn luyện ERDQ-learning trong mô hình phân chia tỉ lệ Pod serverless bằng HPA trong Kurbernetes