MỘT CẢI TIẾN CỦA PHOBERT NHẰM TĂNG KHẢ NĂNG HIỂU TIẾNG VIỆT CỦA CHATBOT THÔNG TIN KHÁCH SẠN

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 19 5 Kết luận Chúng tôi đã thành công trong việc mô hình hoá bài toán hiểu tiếng Việt của chatbot trong hỗ trợ thông tin khách sạn. Chúng tôi đã huấn luyện lại mô hình cải tiến PhoBert và phân tích, đánh giá và so sánh với mô hình BERT và FastText. Việc chuẩn bị và chuẩn hóa dữ liệu làm đầu vào cho quá trình điều chỉnh mô hình cũng được mô tả chi tiết; các chỉ số đánh giá được xem xét áp dụng để đánh giá hiệu quả của mô hình. Kết quả là mô hình PhoBERT sau khi thực hiện điều chỉnh cho kết quả tốt nhất trong việc phân loại ý định. Chỉ số đánh giá cho thấy mô hình PhoBERT hoạt động tốt hơn nhiều so với BERT (điểm F1 cao hơn 15,8%) và FastText (điểm F1 là 30,4%). Ma trận nhầm lẫn cũng được chúng tôi sử dụng để đánh giá hiệu quả của ba mô hình khi kích cỡ dữ liệu không thay đổi. Tài liệu tham khảo 1. Alexis Conneau and Guillaume Lample. 2019. Cross-lingual language model pretraining. Proceedings of the 33rd International Conference on Neural Information Processing Systems. Curran Associates Inc., Red Hook, NY, USA, Article 634, 7059–7069. 2. B. Athiwaratkun, A. G. Wilson, and A. Anandkumar (2018), Probabilistic fasttext for multi-sense word embeddings, arXiv preprint arXiv:1806.02901, 2018 3. Dat Quoc Nguyen and Anh Tuan Nguyen (2020), PhoBERT: Pre-trained language models for Vietnamese, In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 1037– 1042, Online. Association for Computational Linguistics. 4. J. Bozic, O. A. Tazl and F. Wotawa, Chatbot Testing Using AI Planning, 2019, IEEE International

Conference On Artificial Intelligence Testing (AITest), pp. 37-44, doi: 10.1109/AITest.2019.00-10. 5. J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, Bert: Pre-training of deep bidirectional transformers for language understanding, arXiv preprint arXiv:1810.04805, 2018. 6. Liu Y, Ott M, Goyal N, Du J, Joshi M, Chen D, Levy O, Lewis M, Zettlemoyer L, Stoyanov V (2019) Roberta: a robustly optimized bert pretraining approach. arXiv: Computation and language 7. Nguyễn Ngọc Minh, Nguyễn Quang Huy (2020), Ứng dạng công nghệ chatbot vào du lịch thông minh tại An Giang, Tạp chí công thương, Số 12, Tr 356-361 8. Nguyễn Thanh Thủy (2018), Ứng dụng thuật toán học có giám sát multi-class svm trong xây dựng hệ thống chatbot hỏi đáp tiếng Việt, Kỷ yếu hội thảo khoa học quốc gia 2018 CNTT và ứng dụng trong các lĩnh vực, Tr 177-184 9. N. Le, T. Le, S. Truong and H. Le, Building Filters for Vietnamese Chatbot Responses (2020), 2020 RIVF International Conference on Computing and Communication Technologies (RIVF), 2020, pp. 1-6, doi: 10.1109/RIVF48685.2020.9140770. 10. Oanh Thi Tran, Tho Chi Luong (2020), Understanding what the users say in chatbots: A case study for the Vietnamese language, Engineering Applications of Artificial Intelligence, Volume 87, 2020, 103322, ISSN 0952-1976 11. Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018). Deep contextualized word representations. Proceedings of the 2018 Conference of the North American