ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

jos.hueuni.edu.vn Tập 134, Số 2A, 2025 151 3.2 Mô hình hóa bài toán dưới dạng Markov Decision Process (MDP) Bài toán tích hợp học tăng cường nhằm điều chỉnh ngưỡng HPA trong hệ thống serverless có thể được mô hình hóa dưới dạng quá trình quyết định Markov (Markov Decision Process – MDP), bao gồm một bộ 5 thành phần chính < 𝑆, 𝐴, 𝑃, 𝑟, 𝛾 > được định nghĩa như sau: - 𝑺: Không gian trạng thái (State Space). Phản ánh tình trạng hiện tại của hệ thống, cung cấp thông tin cần thiết cho tác tử đưa ra quyết định. Gồm bốn tham số chính: • CPU utilization: Đo mức sử dụng CPU của firewall-deployment, rời rạc thành 6 mức: 0%-30%, 30%-60%, 60%-90%, 90%-120%, 120%-150%, >150%. Giá trị tối đa >150% phản ánh khả năng vượt quá giới hạn CPU trong trường hợp tải cao. • Số lượng Pod: từ 1 đến 10 (giới hạn bởi HPA), được rời rạc thành 5 mức: 1-2, 3-4, 5- 6, 7-8, 9-10. • Tỷ lệ latency/SLA: Tỷ lệ giữa độ trễ thực tế (latency) và ngưỡng độ trễ tối đa chấp nhận được theo thỏa thuận mức độ dịch vụ SLA (1 giây), rời rạc thành 6 mức: 0%-30%, 30%-60%, 60%-90%, 90%-120%, 120%-150%, >150%. • Ngưỡng HPA hiện tại: Giá trị ngưỡng CPU target của HPA, rời rạc thành 5 mức: 20%-40%, 40%-60%, 60%-80%, 80%-100%. Tổng số trạng thái có thể là 6×5×6×5=900 được lưu trữ trong hai bảng Q-Table. Thiết kế này đảm bảo rằng tác tử có cái nhìn toàn diện về tài nguyên (CPU, số pod) và QoS (latency), từ đó đưa ra hành động phù hợp. - 𝑨: Không gian hành động (Action Space). Không gian hành động định nghĩa tập hợp các hành vi mà tác tử có thể lựa chọn tại mỗi bước tương tác với môi trường. Trong mô hình đề

xuất, không gian này được rời rạc hóa thành ba hành động mà tác tử có thể quyết định, bao gồm: • (0) Scale-in: Chấm dứt Pod serverless. • (1) Do nothing: Không thực hiện hành động nào. • (2) Scale-out: Triển khai Pod serverless. - 𝑷: Hàm chuyển đổi trạng thái (Transition Function). Là một hàm xác suất mô tả cách thức môi trường chuyển từ trạng thái 𝑠 sang trạng thái kế tiếp 𝑠′ khi tác tử thực hiện hành động 𝑎. Hàm này được định nghĩa là 𝑃(𝑠′ ∣ 𝑠, 𝑎), biểu thị xác suất đạt đến trạng thái 𝑠′ khi ở trạng thái 𝑠 và thực hiện hành động 𝑎. - 𝜸: Hệ số chiết khấu (Discount Factor). Ký hiệu là 𝛾, là một giá trị nằm trong khoảng [0,1]. Nó xác định tầm quan trọng tương đối của các phần thưởng trong tương lai so với phần thưởng tức thì: • Nếu 𝛾 = 0 tác tử chỉ quan tâm đến phần thưởng trước mắt (short-term rewards).