ERDQ-LEARNING: MÔ HÌNH HỌC TĂNG CƯỜNG TÍCH HỢP HPA PHÂN CHIA TỶ LỆ POD SERVERLESS TRONG KUBERNETES

jos.hueuni.edu.vn Tập 134, Số 2A, 2025 153 tắc reward shaping (định hình phần thưởng) trong học tăng cường, nhằm dẫn dắt tác tử học chính sách hiệu quả và ổn định hơn [17]. • Tổng phần thưởng: Trong các nghiên cứu về học tăng cường, đặc biệt trong bối cảnh bài toán đa tác tử, Grunitzki [16] đã đề xuất một phương pháp linh hoạt để thiết kế hàm phần thưởng theo hướng đa mục tiêu (multi-objective reward design), trong đó nhiều tiêu chí đánh giá như mức sử dụng tài nguyên và độ trễ phản hồi có thể được kết hợp thành một hàm mục tiêu duy nhất thông qua các trọng số phù hợp. Dựa trên hướng tiếp cận này, luận văn xây dựng hàm phần thưởng tổng tại mỗi bước theo công thức: 𝑟𝑎𝑙𝑙 = 𝛼 ∗ 𝑟𝑝𝑒𝑟𝑓_𝑟𝑒𝑠 + 𝛽 ∗ 𝑟𝑙𝑎𝑡𝑒𝑛𝑐𝑦 − penalty (5) Hai tham số 𝛼 và 𝛽 được sử dụng để điều chỉnh mức độ quan trọng tương đối của hai yếu tố trong hàm phần thưởng: hiệu suất sử dụng tài nguyên và độ trễ dịch vụ. Tổng của hai hệ số này được cố định ở mức 𝛼 + 𝛽 = 2.5 phù hợp với định hướng thiết kế được đề xuất bởi Grunitzki [16], nhằm giới hạn giá trị phần thưởng trong một phạm vi ổn định. Thiết lập này giúp kiểm soát biên độ dao động của phần thưởng, từ đó hỗ trợ tác tử học tăng cường hội tụ nhanh hơn và ổn định hơn trong quá trình huấn luyện. Trong bài báo này, hai trọng số được lựa chọn là 𝛼 = 𝛽 = 1.25, với mục tiêu đảm bảo sự cân bằng giữa hai mục tiêu: tiết kiệm tài nguyên hệ thống và duy trì chất lượng dịch vụ ở mức chấp nhận được. Với phần thưởng tổng có giá trị tối đa về lý thuyết là: 1.25 × 10 + 1.25 × 10 = 25. Đây là một thiết kế hợp lý trong các bài toán tối ưu đa mục tiêu,

giúp tác tử điều hướng hành vi theo hướng cân bằng giữa chi phí triển khai và chất lượng phục vụ. Trong quá trình quyết định Markov, tác tử học cách tối ưu hóa chính sách 𝜋(𝑠) để tối đa hóa tổng phần thưởng kỳ vọng. Tuy nhiên, trong quá trình học, tác tử phải cân bằng giữa: - Khai thác (Exploitation): Chọn hành động tốt nhất dựa trên kiến thức hiện có. - Khám phá (Exploration): Thử nghiệm các hành động mới để tìm chiến lược tối ưu hơn. Vấn đề đặt ra nếu tác tử chỉ khai thác, nó có thể bị mắc kẹt trong một chính sách kém tối ưu, nếu chỉ khám phá, nó có thể tốn quá nhiều thời gian để tìm chính sách tối ưu. Để giải quyết vấn đề này, một chiến lược phổ biến được áp dụng là 𝜀 − greedy. Theo đó, tại mỗi bước, tác tử sẽ chọn hành động có giá trị 𝑄 cao nhất (khai thác) với xác suất 1 − 𝜀 và với xác suất 𝜀, tác tử sẽ chọn ngẫu nhiên một hành động bất kỳ (khám phá). Cụ thể, tại mỗi trạng thái 𝑠, tác tử chọn hành động 𝑎 theo quy tắc: