XÂY DỰNG KHUNG ỨNG DỤNG AI CHATBOT TRONG LĨNH VỰC QUY CHẾ ĐÀO TẠO

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 49 𝐹1 = 2 × 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 (3) 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 (4) trong đó TP (True Positive) là tổng số trường hợ p dự báo đúng với lớp dương; TN (True Negative) là tổng số trường hợ p dự báo đúng với lớp âm; FP (False Positive) là tổng số trường hợ p các quan sát có nhãn thuộc lớp âm đượ c dự báo lớp dương; FN (False Negative) là tổng số trường hợ p các quan sát có nhãn thuộc lớp dương đượ c dự báo lớp âm. – Đánh giá mô hình Rasa NLU Sử dụng phương pháp k-fold cross validation với k = 5 bằng câu lệnh như sau: rasa test nlu --nlu data/nlu --cross-validation --folds 5. Kết quả đánh giá trên tậ p test đối với bộ phân lớp các chủ đề (intent classification) như sau: Accuracy = 84,6%; F1-score = 82,6%; Precision: 83,6% với ma trậ n nhầ m lẫn trình bày trên Hình 7. – Đánh giá của chuyên gia Chúng tôi đã tạo trang Facebook “Hỗ trợ đào t ạo – ĐHKH” và k ết nối với chương trình thông qua trình tin nhắn Facebook để chạy thử nghiệm. Chúng tôi mời một số chuyên gia (giả ng viên, sinh viên, nhân viên phòng đào t ạo) đặt câu hỏi thông qua cửa sổ chat FaceBook. Kết quả có 89,3% câu trả lời đúng với câu hỏi yêu cầ u của chuyên gia. Nội dung các câu hỏi liên quan đến lĩnh vự c quy chế đào t ạo đại học như cách đăng ký h ọc phầ n, điề u kiện đượ c học bổng, thông tin các học phầ n,....như đượ c mô tả ở Hình 8. Các trường hợ p đưa ra câu trả lời sai do người sử dụng

đưa vào câu h ỏi có chữ viết tắt, sai chính tả hoặc trong câu văn có từ đa nghĩa. Ngoài ra, đ ối với những câu hỏi không liên quan đến lĩnh vự c đào t ạo hoặc không có trong cơ sở dữ liệu thì bot sẽ đưa ra câu trả lời “Không hiểu câu hỏi của bạn”. 4 Kết luận và hướng ph á t triể n Bài báo trình bày khung AI chatbot dự a trên Rasa và minh họa cài đ ặt cho một lĩnh vự c cụ thể, đó là lĩnh v ự c quy chế đào t ạo đại học tại Trường Đại học Khoa học, Đại học Huế. Bả n cài đặt cùng các thông số đượ c thiết lậ p cho ra kết quả khá tốt. Mô hình hiểu ngôn ngữ tự nhiên có độ chính xác 84,6% và đ ộ chính xác theo đánh giá của các chuyên gia là 89,3%. Trên thự c tế, chương trình thử nghiệm cho ra kết quả tốt khi câu văn bả n đầ u vào là một câu đầ y đủ về cú pháp và không có ký tự viết tắt. Hướng phát triển của chương trình cầ n là phả i xây dự ng phầ n tiề n xử lý tiếng Việt. Ngoài ra, chương trình cầ n xây dự ng một cơ sở tri thức để