MỘT CẢI TIẾN CỦA PHOBERT NHẰM TĂNG KHẢ NĂNG HIỂU TIẾNG VIỆT CỦA CHATBOT THÔNG TIN KHÁCH SẠN

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 13 bộ các phương pháp xử lý dữ liệu để tạo ra một mô hình học máy phù hợp nhất cho một bộ dữ liệu cụ thể. Trong bước cấu hình hoạt động ML-Chatbot, chúng tôi sử dụng thêm hai mô hình tiền huấn luyện sau đây nhằm đánh giá và so sánh với mô hình tinh chỉnh PhoBERT: (1) Với mô hình BERT, chúng tôi chọn bert-base-multilingual-cased14 được lưu trữ trên thư viện tiền huấn luyện Huggingface có thể sử dụng với 12 lớp ẩn được luấn luyện trên 104 ngôn ngữ (bao gồm tiếng Việt) và phân biệt chữ hoa và chữ thường. (2) Mô hình FastText do Facebook phát triển theo phương pháp n-gram (tần suất xuất hiện của n kí tự liên tiếp xuất hiện trong dữ liệu), huấn luyện trên 157 ngôn ngữ. Chúng tôi tải thư viện cc.vi.300.bin15 (hơn 7 GB) tiền huấn luyện mô hình FastText dành cho ngôn ngữ tiếng Việt để sử dụng trong cấu hình hoạt động của ML-Chatbot. Bảng 1. Cấu hình điều chỉnh mô hình Cấu hình Mô hình Tokenizer Featurizer Phân loại Trích xuất thực thể BERT bert-base-multilingual- cased WordPiece [5] Theo mô hình ngôn ngữ Sklearn CRF FastText FastText (cc.vi.300.bin) UETsegmenter n-gram Sklearn CRF PhoBertBase phoBERT-base tỉnh chỉnh VnCoreNLP [3, 17] Theo mô hình ngôn ngữ Sklearn CRF Đối với mô hình FastText, bộ tách từ UETsegmenter được sử dụng mặc định để tách từ trong ngôn ngữ tiếng Việt. Trong khi đó bert-base-multilingual-cased sử dụng phương pháp tách từ WordPiece và trong PhoBERT việc tách từ được sử dụng theo thư viện VnCoreNLP. 3.4 Dữ liệu Dữ liệu sử dụng trong việc nâng cao năng lực hiểu ngôn ngữ tiếng Việt của ML-Chatbot

được thu thập từ dữ liệu hỏi đáp về thông tin du lịch. Sau đó, chúng tôi biên tập thành bộ dữ liệu câu hỏi – trả lời theo từng chủ đề liên quan đến nhu cầu cần thiết của khách đi du lịch như ăn, ở, đi lại và thông tin về các địa danh. Trong quá trình thu thập dữ liệu thông tin, chúng tôi đã khai thác từ các phương tiện thông tin đại chúng như các báo điện tử, các trang website du lịch, 14 https://huggingface.co/bert-base-multilingual-cased 15 https://fasttext.cc/docs/en/crawl-vectors.html