ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

Đặng Thanh Chương và CS. Tập 134, Số 2A, 2025 152 • Nếu 𝛾 ≈ 1 tác tử quan tâm đến tổng phần thưởng dài hạn (long-term rewards), không chiết khấu giá trị của các phần thưởng tương lai. - 𝒓: Hàm phần thưởng (Reward Function). Hàm phần thưởng được thiết kế nhằm định hướng tác tử học tăng cường ra quyết định phù hợp với hai mục tiêu chính trong môi trường serverless: tiết kiệm tài nguyên (giảm chi phí) và duy trì chất lượng dịch vụ (giảm độ trễ). Cụ thể, phần thưởng tại mỗi bước huấn luyện được tính từ ba thành phần sau: • Phần thưởng hiệu suất sử dụng tài nguyên (𝑟𝑝𝑒𝑟𝑓_𝑟𝑒𝑠): Phần thưởng này nhằm khuyến khích sử dụng ít Pod hơn nhưng vẫn đảm bảo QoS, từ đó tiết kiệm tài nguyên hệ thống. Công thức được định nghĩa như sau [10]: ( 𝑟𝑝𝑒𝑟𝑓_𝑟𝑒𝑠) = 10 − 𝑠ố 𝑝𝑜𝑑 10 − 1 × 10 (2) Giá trị tối đa của phần thưởng tài nguyên là 10 (khi số Pod = 1) và tối thiểu là 0 (khi số Pod = 10). • Phần thưởng độ trễ (𝑟𝑙𝑎𝑡𝑒𝑛𝑐𝑦 ): Phần thưởng này phản ánh mức độ thỏa mãn yêu cầu về độ trễ (latency) của dịch vụ. Công thức được định nghĩa dựa trên hàm mũ suy giảm [10]: ( 𝑟𝑙𝑎𝑡𝑒𝑛𝑐𝑦) = 𝑒−𝑝×𝑤𝑙𝑎𝑡×𝑙𝑎𝑡𝑒𝑛𝑐𝑦 𝑆𝐿𝐴 × 10 (3) trong đó: ▪ 𝑝 = 0.1: hệ số điều chỉnh tốc độ suy giảm ▪ 𝑤𝑙𝑎𝑡 là hệ số phạt độ trễ, xác định như sau: 𝑤𝑙𝑎𝑡 = 0.3 nếu latency < SLA (dịch vụ tốt), 𝑤𝑙𝑎𝑡 = 10 nếu latency ≥ SLA (dịch vụ vi phạm QoS). ▪ 𝑆𝐿𝐴 = 1 (giây): ngưỡng độ trễ tối đa chấp nhận được • Hình phạt dư Pod (Penalty): Một hình phạt bổ sung được áp dụng nhằm tránh hệ thống sử dụng số lượng Pod vượt quá mức cần thiết, được bật khi mà hệ thống đã đảm bảo hiệu năng

tốt (latency_ratio < 90%). Khi đó, nếu số lượng Pod vượt quá giá trị lý tưởng 𝑖𝑑𝑒𝑎𝑙_𝑝𝑜𝑑 = 6, hình phạt được tính như sau: 𝑝𝑒𝑛𝑎𝑙𝑡𝑦 = { tanh (𝑠ố 𝑝𝑜𝑑 − 6 4 ) , nếu latency_ratio < 90% 0, ngược lại (4) Hàm tanh (hyperbolic tangent) làm mượt mức phạt, giúp thay đổi đột ngột khi số Pod chỉ chênh lệch nhỏ so với mức lý tưởng. Việc bổ sung thành phần penalty được xem là một cải tiến của hàm phần thưởng truyền thống, nhằm giảm thiểu số lượng Pod rỗi không cần thiết, từ đó khuyến khích tác tử học chính sách tiết kiệm tài nguyên hơn. Cách tiếp cận này tuân theo nguyên