MỘT CẢI TIẾN CỦA PHOBERT NHẰM TĂNG KHẢ NĂNG HIỂU TIẾNG VIỆT CỦA CHATBOT THÔNG TIN KHÁCH SẠN

Ngô Văn Sơn và CS. Tập 131, Số 2A, 2022 12 mô hình phù hợp với nhiệm vụ phân loại ý định. Để mô hình sau khi tinh chỉnh đáp ứng được nhiệm vụ phân loại ý định, chúng tôi thêm một lớp phân loại ở cuối và đầu ra của PhoBERT tinh chỉnh sẽ là đầu vào của lớp phân loại này. Đầu vào của PhoBERT tinh chỉnh cũng phải được thay đổi để phù hợp với nhiệm vụ phân lớp. Theo mô hình PhoBERT, văn bản đầu vào của mô hình phải được chuyển thành chuỗi token12 và được chèn thêm hai token [CLS] và [SEP]. Trong nhiệm vụ phân lớp, trạng thái ẩn tương ứng với token đặc biệt [CLS] là đại diện của toàn bộ câu được sử dụng cho các nhiệm vụ phân loại, khác với vectơ trạng thái ẩn tương ứng với token biểu diễn từ thông thường. Như vậy, khi cung cấp một câu đầu vào cho mô hình trong quá trình huấn luyện, đầu ra là một véc-tơ trạng thái ẩn tương ứng với token này. Lớp bổ sung được thêm ở trên bao gồm các nơ ron tuyến tính chưa được huấn luyện có kích thước [kích thước véc-tơ trạng thái ẩn, số ý định], có nghĩa là đầu ra của PhoBERT kết hợp với lớp phân loại là một vectơ gồm hai số đại diện cho điểm số để làm cơ sở phân loại câu. Vectơ này được đưa tiếp vào hàm mất mát cross-entropy để tính phân bố xác suất phân loại ý định. Trong bài báo này, chúng tôi chọn các tham số được sử dụng trong việc tinh chỉnh mô hình PhoBERT như sau: - max_length=128; //chiều dài tối đa của văn bản đưa vào, tính theo số token. - Mô hình BERT mặc định áp dụng cho dịch ngôn ngữ. Đầu vào được chèn thêm [SEP] để phân tách hai câu. Tuy nhiên, bài toán phân loại chỉ cần đầu vào một câu và để đảm bảo cấu trúc đầu vào của

mô hình, chúng tôi thiết lập tham số sau đây nhằm tự động thêm khoảng đệm vào phía sau [SEP]: pad_to_max_length=true; - learning_rate (adam)=1e-5; //tỷ lệ học theo phương pháp tối ưu Adam - epochs=20; //số lần đưa toàn bộ dữ liệu vào huấn luyện - batch_size=8; //thiết lập xác định toàn bộ dữ liệu được tách thành bao nhiêu - cross-entropy; //hàm mất mát được sử dụng là cross-entropy Mô hình PhoBERT sau khi tinh chỉnh được lưu thành định dạng chuẩn của Huggingface13 để đưa vào sử dụng trong ML-Chatbot. 3.3 Cấu hình ML-Chatbot Cấu hình là bước cần thiết để các thành phần phối tự động tạo ra một mô hình học máy. Đối với các hệ thống chatbot sử dụng mô hình học máy thì cấu hình này là phần đóng gói toàn 12 Token là các khối xây dựng trong xử lý ngôn ngữ tự nhiên. Token có thể là một từ (word), một từ phụ (sub-word) hoặc một ký tự (character). 13 https://huggingface.co