MỘT CẢI TIẾN CỦA PHOBERT NHẰM TĂNG KHẢ NĂNG HIỂU TIẾNG VIỆT CỦA CHATBOT THÔNG TIN KHÁCH SẠN

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 11 3.2 Cải tiến PhoBERT Vấn đề quan trọng nhất của chatbot được thiết kế để thực hiện các tác vụ cụ thể trong một lĩnh vực nhất định như đặt phòng khách sạn, mua vé máy bay và cung cấp thông tin về đại dịch Covid-19 là dữ liệu khó đảm bảo đủ lớn để huấn luyện từ ban đầu. Quá trình huấn luyện một mô hình học máy trên bộ dữ liệu này dẫn tới kết quả không thực sự tốt và lãng phí tài nguyên tính toán. Do vậy, trong phần hiểu ngôn ngữ tự nhiên của chatbot cần hướng đến tinh chỉnh các mô hình tiền huấn luyện nhằm giúp chatbot hiểu được ngôn ngữ tự nhiên theo đúng miền ứng dụng cụ thể. Phương pháp này được xây dựng dựa trên ý tưởng chuyển giao tri thức đã được học từ những mô hình tốt trước đó để có được mô hình tận dụng lại các tri thức đã tiền huấn luyện đó. Việc tận dụng lại tri thức từ các mô hình tiền huấn luyện với cùng tác vụ sẽ giúp các mô hình được huấn luyện dự báo tốt hơn với dữ liệu mới vì mô hình được học trên cả hai nguồn tri thức đó là dữ liệu huấn luyện và dữ liệu mà nó đã được học trước đó. Hình 2. Mô hình tinh chỉnh PhoBERT Để cải tiến PhoBERT, chúng tôi chọn tinh chỉnh nhiệm vụ phân loại ý định người dùng. PhoBERT là một mô hình tiền huấn luyện, mã hóa văn bản từ ngôn ngữ tiếng Việt thành một không gian nhúng chung. Đây là mô hình tiền huấn luyện dựa trên kiến trúc cải tiến RoBERT so với BERT và được huấn luyện trên khoảng 20 GB dữ liệu bao gồm khoảng 1 GB Vietnamese Wikipedia corpus và 19 GB còn lại lấy từ Vietnamese news corpus. Mô hình PhoBERT cũng có

hai phiên bản PhoBERT-Base với 12 lớp và PhoBERT-Large với 24 lớp. Để cải tiến mô hình trong bài toán phân lớp, các tham số trong mô hình PhoBERT cần được chỉnh sửa nhằm thực hiện phân loại ý định. Sau đó, tiếp tục huấn luyện mô hình trên tập dữ liệu khách sạn cho đến khi toàn bộ