MỘT CẢI TIẾN CỦA PHOBERT NHẰM TĂNG KHẢ NĂNG HIỂU TIẾNG VIỆT CỦA CHATBOT THÔNG TIN KHÁCH SẠN

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 9 Trong nghiên cứu của mình, Nguyen và Shcherbakov [18] đã triển khai một chatbot tiếng Việt có khả năng hiểu ngôn ngữ tự nhiên, có thể tạo phản hồi, thực hiện hành động với người dùng và ghi nhớ bối cảnh của cuộc trò chuyện. Các tác giả đã sử dụng nền tảng RASA để xây dựng chatbot và đề xuất một cách tiếp cận bằng cách sử dụng cấu hình tùy chỉnh cho mô hình hiểu ngôn ngữ tự nhiên (Natural Language Understanding – NLU). Nghiên cứu này áp dụng ba mô hình gồm: hai mô hình tiền huấn luyện là FastText [2] và BERT đa ngôn ngữ; một mô hình tùy chỉnh không sử dụng mô hình tiền huấn luyện. Để đánh giá và so sánh mô hình đề xuất, các tác giả đã sử dụng Accuracy, F1-score và Precision. Kết quả thực nghiệm so sánh ba mô hình cho thấy rằng mô hình được đề xuất hoạt động tốt hơn trong phân loại ý định và trích xuất thực thể. Oanh Thi Tran và Tho Chi Luong [10] đã đề xuất một khung mô hình hóa bài toán phân loại và bài toán ghi nhãn trình tự hai lớp dựa trên mô hình học sâu. Hệ thống chatbot có thể phát hiện ý định và nhận ra ngữ cảnh hội thoại trong miền thương mại điện tử Việt Nam nhằm giúp các thương hiệu bán lẻ giao tiếp tốt hơn với khách hàng của họ. Kết quả thử nghiệm của nghiên cứu cho thấy rằng mạng nơ-ron học sâu có thể hoạt động tốt hơn các phương pháp học máy thông thường. Trong việc phát hiện ý định, nghiên cứu cho thấy số đo F tốt nhất là 82,32%. Trong việc trích xuất các ngữ cảnh, phương pháp đề xuất có số đo F nằm trong khoảng từ 78 đến 91% tùy thuộc vào các loại ngữ cảnh cụ thể.

Tóm lại, các nghiên cứu nêu trên đều sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên, các kỹ thuật học sâu, kỹ thuật túi từ, kết hợp tần suất xuất hiện từ và các mô hình ngôn ngữ hai chiều. Tùy thuộc vào từng trường hợp cụ thể mà mỗi nghiên cứu chỉ ra mô hình nào là phù hợp nhất. Trong bài báo này, chúng tôi tiếp tục khảo sát hiệu quả phân loại ý định và trích xuất thực thể đối với mô hình BERT cho tiếng Việt, cụ thể là PhoBERT và so sánh với mô hình FastText và BERT có hỗ trợ tiếng Việt. Dựa vào kết quả đánh giá, chúng tôi ứng dụng vào việc xây dựng chatbot thông tin khách sạn. 3 Mô hình ML-Chatbot thông tin khách sạn 3.1 Mô hình chatbot dựa trên học máy Các mô hình chatbot hiện nay tương tác với người dùng thông qua âm thanh hoặc văn bản. Có nhiều nền tảng khác nhau như Google Dialogflow9 hay Microsoft bot framework10 để lựa chọn xây dựng chatbot, nhưng chúng tôi chọn RASA11 vì nó là một khung làm việc mã nguồn mở và có thể tùy chỉnh khá linh hoạt so với các nền tảng khác. RASA được thiết kế để người dùng có 9 https://dialogflow.cloud.google.com 10 https://dev.botframework.com 11 https://rasa.com