XÂY DỰNG KHUNG ỨNG DỤNG AI CHATBOT TRONG LĨNH VỰC QUY CHẾ ĐÀO TẠO

Tạp chí Khoa học Đại học Huế: Kỹ thuật và Công nghệ; pISSN 2588-1175 | eISSN 2615-9732 Tập 131, Số 2A, 2022, Tr. 39–52; DOI: 10.26459/hueunijtt.v131i2A.6919 * Liên hệ: dthphuoc@husc.edu.vn Nhận bài: 02–09–2022; Ngày nhận đăng: 26–12–2022 XÂY DỰ NG KHUNG Ứ NG DỤ NG AI CHATBOT TRONG LĨ NH VỰ C QUY CHẾ ĐÀ O TẠ O Đoàn Thị Hồng Phước*, Lê Văn Tường Lân, Nguyễn Văn Trung Khoa Công nghệ Thông tin, Trường Đại học Khoa học, Đại học Huế, 77 Nguyễn Huệ, Huế, Việt Nam Tóm tắt. Trong và i thậ p niên gầ n đây, trợ lý ả o thông minh (AI chatbot) đã và đang đượ c nghiên cứu và phát triển trong nhiề u lĩ nh vự c như thương mại điện tử, chăm sóc sức khỏe, du lịch và giáo dục do những thuậ n lợ i của chúng trong việc tương tác giữa người và máy bằng ngôn ngữ tự nhiên. Quy chế đào t ạo đại học giúp cho sinh viên đưa ra kế hoạch học tậ p phù hợ p. Tuy nhiên, hiện tại sinh viên chỉ tiếp cậ n các quy chế này thông qua sổ tay sinh viên, các cố vấn học tậ p hoặc chuyên viên phòng Đào t ạo. Việc này làm mất rất nhiề u thời gian của sinh viên, cán bộ giả ng dạy cũ ng như chuyên viên các phòng ban trong nhà trư ờng. Để giả i quyết vấn đề nà y, chúng tôi đề xuất một khung ứng dụng AI chatbot dự a trên nề n tả ng Rasa và áp dụng thử nghiệm vào lĩ nh vự c quy chế đà o tạo đại học. Kết quả chạy thử nghiệm chương trình cho thấy rằng độ chính xác của mô hình hiểu ngôn ngữ tự nhiên là 84,6% và đ ộ chính xác theo đánh giá của các chuyên gia là 89,3%. Từ khóa: trợ lý ả o, AI chatbot, quy ch ế đà o tạo đại học, Rasa

Developing AI chatbot framework in training regulation domain Doan Thi Hong Phuoc*, Le Van Tuong Lan, Nguyen Van Trung Faculty of Information Technology, University of Sciences, Hue University, 77 Nguyen Hue St., Hue, Vietnam Abstract. In recent decades, AI chatbots (aka artificial intelligence virtual assistants) have been investigated and developed in numerous domains, such as e-commerce, health care, tourism, and education, because of their benefits in the interaction between humans and machines via natural language text/speech. Universities’ training regulation is necessary for students to plan their studies. However, students can only access these rules via the training handbook, their training counsellors, or the staff of the Office for undergraduate education. This process is time-consuming for students, lecturers, and office staff. To deal with this problem, we proposed an AI chatbot framework based on the Rasa platform and applied it to the university’s training regulation domain. The results show that the F-measure of the natural language understanding model is 84.6%, and the experts’ accuracy evaluation is 89.3%.

Đoàn Thị Hồng Phước và CS. Tập 131, Số 2A, 2022 40 Keywords: AI chatbot, university training regulations, Rasa 1 Mở đầu Chatbot là một chương trình máy tính, phản hồi giống như một thực thể thông minh khi trò chuyện thông qua văn bản hoặc giọng nói và hiểu một hoặc nhiều ngôn ngữ của con người bằng xử lý ngôn ngữ tự nhiên [1]. Chatbot hỗ trợ các tổ chức kinh tế, xã hội bằng cách thay thế các nhân viên trả lời câu hỏi người dùng mọi lúc mọi nơi, giúp giả m thời gian và chi phí cho người dùng. Theo các kết quả nghiên cứu trong Scopus (thống kê theo các từ khóa “chatbot”, “tác tử trò chuyện” (conversation agent) và “giao diện trò chuyện” (conversation interface)) (Hình 1), có thể thấy rằng từ năm 2016 trở về sau, các ứng dụng Chatbot đã có sự gia tăng nhanh chóng với các loại hình hệ thống Chatbot khác nhau được sử dụng cho các lĩ nh vự c khác nhau như chăm sóc sức khỏe, du lịch, thương mại điện tử và giáo dục [2]. Hình 1. Biểu đồ mô tả số lượ ng tài liệu nghiên cứu liên quan đến lĩnh vự c Chatbot từ năm 1966 đến 2021 [2] Hiện nay, các cơ sở giáo dục cũng như các trư ờng đại học (ĐH) trên giới đã triển khai các ứng dụng trợ lý ả o thông minh (AI chatbot) hỗ trợ cho các hoạt động trong nhà trư ờng. Trợ lý ả o Deakin Genie của Trường ĐH Deakin (Deakin's Genie assistant) hỗ trợ chuyên viên nhà trư ờng trả lời các câu hỏi của sinh viên liên quan đến lịch học, bài tậ p, chính sách học bổng, cho vay và các nguồn tài nguyên trong trư ờng [3]. Amazon Alexa, phát triển từ mã nguồn mở QnABot của

Amazon, là một trợ lý ả o đượ c sử dụng tại ĐH St. Louis. Alexa có thể thay thế các nhà quả n lý nội trú trả lời các câu hỏi các sự kiện và tổ chức của sinh viên cùng với nhiề u khía cạnh khác của

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 41 cuộc sống sinh viên [4]. ĐH Georgia State đã xây dự ng trợ lý ả o thông minh Pounce nhằm giúp sinh viên bằng cách gửi lời nhắc về thời gian và các thông tin liên quan đ ến các công việc đăng ký học (enrolment tasks), thu thậ p dữ liệu khả o sát và trả lời ngay lậ p tức nhiề u câu hỏi của sinh viên bất kể thời gian nào [5]. ĐH Khoa học ứng dụng Amsterdam (Amsterdam University of Applied Sciences – AUAS) đã tích hợ p chatbot Robin trên trang web của Trường nhằm mục đích trả các câu hỏi thường gặp của sinh viên [6]. Tại Việt Nam, trong hơn một thậ p niên qua, AI chatbot đã đượ c nghiên cứu, xây dự ng và áp dụng tại một số trường đại học. Nhóm nghiên cứu tại Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hồ Chí Minh, đã xây dự ng chatbot FIT-Ebot để hỗ trợ cho việc quả n lý và học tậ p [7]. Nhóm tác giả của Trường Đại học Cầ n Thơ và Trư ờng Đại học Nguyễn Tất Thành đề xuất xây dự ng AI chatbot trên máy tính Raspberry Pi có thể trả lời tự động cho sinh viên ngành Công nghệ thông tin các câu hỏi liên quan đến môi trường học tậ p và phương pháp h ọc tậ p bậ c đại học, kỹ năng nghề nghiệp và xu hư ớng công nghệ [8]. Nhóm tác giả của Học viện Bưu chính viễn thông đã đưa ra trợ lý ả o thông minh trợ giúp sinh viên PTIT chatbot, có khả năng giả i đáp các thắc mắc của sinh viên mới trên các lĩnh vự c về nhà trư ờng và đ ời sống [9]. Gầ n đây, chatbot NEU hỗ trợ cho việc tuyển sinh đã đượ c đưa vào ho ạt động trên trang “Tư vấn tuyển sinh đại

học chính quy” của Trường Đại học Kinh tế Quốc dân [10]. Trên thự c tế, các thông tin về quy chế đào t ạo đại học rất cầ n thiết để sinh viên có thể đưa ra kế hoạch học tậ p phù hợ p. Tuy nhiên, hiện tại sinh viên chỉ tiếp cậ n các quy chế này thông qua sổ tay sinh viên, cố vấn học tậ p hoặc chuyên viên phòng đà o tạo. Ngoài ra, các câu hỏi về các quy chế này thư ờng đượ c lặp lại từ năm này qua năm khác. Vi ệc này làm mất rất nhiề u thời gian của sinh viên, cán bộ giả ng dạy cũ ng như chuyên viên các phòng ban trong nhà trư ờng. Tại Việt nam có rất ít AI chatbot thiết kế cho lĩnh vự c đào t ạo. Gầ n đây, nhóm tác giả trong nghiên cứu [7] đã xây dự ng trợ lý ả o FIT-Ebot cho lĩnh vự c đào t ạo dự a trên nề n tả ng Dialogflow của Google và là nề n tả ng đóng, rất khó tích hợ p và tùy chỉnh. Vì vậ y, trong bài báo này, chúng tôi xây dự ng một khung ứng dụng AI chatbot và áp dụng và o lĩ nh vự c quy chế đà o tạo đại học trên nền tảng Rasa Framework với khả năng tích hợp và tùy chỉnh một cách dễ dàng. Các phần tiếp theo của bài báo được tổ chức như sau: Phần 2 trình bày c ách tiếp cậ n xây dự ng khung ứng dụng AI chatbot. Phần 3 trình bày quy trình cà i đặt thử nghiệm AI chatbot trong lĩ nh vự c quy chế đà o tạo của Trường Đại học Khoa học, Đại học Huế. Phầ n 4 trình bày kết luận và hướng phát triển.

Đoàn Thị Hồng Phước và CS. Tập 131, Số 2A, 2022 42 2 Cá ch tiế p cậ n xây dự ng khung ứ ng dụ ng AI chatbot 2.1 Cấ u trú c chung củ a AI chatbot Hiện nay, có nhiề u loại AI chatbot khác nhau và đượ c phân loại dựa trên một số tiêu chí như cách thức tương tác (interaction mode), miền tri thức (knowledge domain), loại ứng dụng (chatbot application) và cách tiếp cận để xây dựng (design approach) [11]. Tuy nhiên, nhìn chung, cấu trúc của một hệ trợ lý ả o gồm hai thành phầ n chính: (1) Phân tích thông điệp người dùng; (2) Tạo ra câu trả lời tương ứng với thông điệp đầ u vào: Hình 2. Cấu trúc chung của một trợ lý ả o [7] (1) Phân tích thông điệp người dùng (User message analysis): Giúp hệ thống hiểu rõ những gì mà ngư ời sử dụng đang yêu cầ u, gồm hai chức năng: Xác định chủ đề của người dùng (Identifying user intent): Mục đích của chức năng này là xác định chủ đề (ý định) của người dùng thông qua thông điệp mà họ đưa vào. M ột số cách tiếp cậ n chính cho việc xác định chủ đề bao gồm đối sánh mẫu, dự a trên luậ t và học máy. Đối với cách tiếp cậ n học máy, bài toán xác đ ịnh chủ đề của câu văn bả n cho trước đượ c xem như là bài toán phân loại văn bả n, trong đó mỗi văn bả n đượ c phân vào lớp chủ đề tương ứng. Một số phương pháp học máy đượ c sử dụng như SVM, Naive Bayes, logistic regression và các phương pháp học sâu [12]. Trích xuất ngữ cả nh người dùng (Extracting user context): Chức năng này có nhi ệm vụ trích xuất các thông tin ngữ cả nh thông qua các thự c thể (entities) của thông điệp người dùng,

chẳng hạn như địa điểm, thời gian và thông tin ngư ời dùng. Những thông tin này giúp hệ thống đưa ra câu trả lời phù hợ p với tình huống của người dùng. Ví dụ, với câu “Giả ng viên giả ng dạy học phầ n Trí tuệ nhân tạo?”, hệ thống xác định đượ c chủ đề người dùng muốn hỏi liên quan đến thông tin học phầ n. Để có thể đưa ra phả n hồi phù hợ p, hệ thống cầ n hiểu hơn về thông điệp này. Hệ thống đòi hỏi thêm về thông tin ngữ cả nh như: Thông điệp người dùng (User message) Phân tích thông điệp người dùng Xác định chủ đề Tạo ra câu trả lời Trích xuất ngữ cảnh Hệ thống trả lời Chủ đề Ngữ cảnh

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 43 môn họ c (“Trí tuệ nhân tạo”) và giảng viên. Trong trường hợ p không trích xuất đượ c thêm thông tin ngữ cả nh, hệ thống yêu cầ u người dùng nhậ p thêm vào. (2) Tạo ra câu trả lời (Response generation): Thành phầ n này tạo ra câu trả lời phù hợ p dự a vào chủ đề và ngữ cả nh thông điệp của người dùng. Có ba cách tiếp cậ n chính: Dự a vào mẫu (Pattern-based approach): Phương pháp nà y sẽ so khớp thông điệp đầ u và o với mẫu câu hỏi – đáp để đưa ra câu trả lời tương ứng Mô hình truy hồi (Retrieval-based model approach): Dự a và o chủ đề và ngữ cả nh của thông điệp đầ u và o, hệ thống sẽ đưa ra câu trả lời thích hợ p bằng cách truy vấn và o cơ sở dữ liệu/cơ sở tri thức. Mô hình sinh (Generative-based model approach): Đưa ra câu trả lời gầ n giống cách của con người nhất. Cụ thể, hệ thống sẽ đưa ra câu trả lời dự a và o các thông điệp đầ u và o hiện tại và trước đó. Tuy nhiên, trên thự c tế, cách tiếp cậ n nà y gặp khó khăn trong việc xây dự ng và huấn luyện mô hình vì dữ liệu huấn luyện cầ n phả i rất lớn để có thể đưa ra câu trả lời chính xác. 2.2 Cá ch tiế p cậ n xây dự ng AI chatbot Việc xây dự ng AI chatbot dự a trên framework sẵn có giúp tiết kiệm thời gian và kinh phí rất nhiề u. Hiện tại, Rasa framework [13] có nhiề u ưu điểm hơn một số framework hỗ trợ cho việc xây dự ng AI chatbot như ChatterBot, Dialogflow, Wit.ai và FPT.AI. Thậ t vậ y, Rasa là một khung chatbot mã nguồn mở cho phép tích hợ p và tùy chỉnh các thành phầ n một cách dễ dàng. Ngoài

ra, Rasa hỗ trợ kết nối chương trình với các ứng dụng tin nhắn khác và có thể triển khai trên nhiề u môi trường khác nhau. Rasa có hai thành phầ n chính là Rasa Core và Rasa NLU. Rasa NLU có chức năng phân tích chủ đề /ý đ ịnh và trích xuất ngữ cả nh của thông điệp thông qua các thự c thể. Rasa Core đượ c sử dụng để quả n lý luồng hội thoại (Dialogue Manager), phát biểu (utterance) và hành đ ộng (action). Nói cách khác, Rasa NLU là thành phầ n hiểu/diễn giả i ý đ ịnh của thông điệp đầ u vào và Rasa Core đưa ra phả n hồi (phát biểu/hành đ ộng) tương ứng tại mỗi bước của hội thoại và dự đoán trạng thái tiếp theo dự a vào một mô hình xác suất và tùy thuộc vào chính sách lự a chọn. Rasa Core cung cấp hai loại chính sách: chính sách học máy (Machine learning policy) và chính sách dự a trên luậ t (Rule-based policy): • Chính sách học máy: o Chính sách TED (Transformer Embedding Dialogue policy): Chính sách này kết hợ p các đặc trưng đầ u vào ngư ời sử dụng (input user), hành đ ộng trước đó của hệ thống (system

Đoàn Thị Hồng Phước và CS. Tập 131, Số 2A, 2022 44 actions) và dữ liệu trong vùng nhớ của chatbot (slots) tại mỗi bước thành vec tơ đầ u vào cho việc mã hóa bộ chuyển đổi hội thoại (dialogue transformer encoder). o Chính sách ghi nhớ (Memoization policy): Ghi nhớ các câu chuyện (stories) từ tậ p dữ liệu huấn luyện. Kiểm tra câu chuyện đượ c so khớp (matching story) của cuộc hội thoại hiện tại và dự đoán hành đ ộng tiếp theo từ câu chuyện so khớp với độ tin cậ y trong đoạn [0,1]. Số lượ t hội thoại đượ c xác định trong tham số max-history. o Chính sách ghi nhớ tăng cường (Augmented Memoization policy): Ghi nhớ các mẫu từ câu chuyện so khớp tùy theo số lượ t max-history. Tương tự chính sách memoization policy, chính sách này có cơ ch ế quên. • Chính sách dự a trên luậ t: o Là chính sách giả i quyết các phầ n của hội thoại theo cách hành xử cố định sẵn và đưa ra các dự đoán bằng việc sử dụng các quy tắc/luậ t đã đượ c định nghĩa trong tậ p training. Dự a trên nề n tả ng Rasa, chúng tôi xây dự ng khung AI chatbot, gồm các thành phầ n chính trình bày trên Hình 3. Hình 3. Khung AI chatbot Khung này bao gồm ba thành phầ n chính: (1) Facebook Messenger dùng để giao tiếp với người dùng (nhậ n thông điệp đầ u vào và hiển thị phả n hồi của hệ thống); (2) Nề n tả ng RASA Framework dùng để xác định chủ đề , trích xuất thông tin từ thông điệp đầ u vào của người dùng Giao diện người dùng (FB Messenger) (NLU) (NLG) Tạo câu trả lời Cơ sở dữ liệu Thông điệp đầ u vào Câu trả lời (DM) Quả n lý hội thoại Phân loại ý đ ịnh (Intent classification)

Đặc trưng hóa (Featurization) Gán nhãn từ (Pos Tagging), tách cụm từ (chunking) Nhậ n dạng thự c thể (entitiy extraction) Tách từ (Tokenization)

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 45 và đưa ra câu trả lời tương ứng tại mỗi bước của hội thoại và dự đoán trạng thái tiếp theo (quả n lý luồng hội thoại); (3) Cơ sở dữ liệu dùng để tham khả o và tạo câu trả lời. Thông điệp của người dùng sau khi tiếp nhậ n sẽ đượ c chuyển đến thành phầ n diễn giả i (Rasa NLU) để xác định chủ đề và trích xuất các thông tin cầ n thiết. Cụ thể, thông điệp đầ u vào sẽ đượ c xử lý sơ b ộ thông qua các bước xử lý ngôn ngữ tự nhiên như tách từ, chuyển câu văn bả n thành vec tơ đ ặc trưng (đặc trưng hóa) để đưa vào b ộ phân lớp nhậ n dạng chủ đề và gán nhãn từ và trích xuất các cụm từ để nhậ n diện các thự c thể. Dự a vào các thông tin về chủ đề và ngữ cả nh đượ c trích xuất, thành phầ n quả n lý luồng hội thoại (Rasa Core) đưa ra câu trả lời (domain.yml) phù hợ p với thông điệp đầ u vào và đưa ra hành đ ộng tiếp theo tùy vào cấu hình chính sách lự a chọn (config.yml): dự a trên mô hình đã học trong tậ p training (nlu.md) hay đối sánh trong tậ p luậ t (rule.yml) hoặc cả hai. 3 Cài đặ t thử nghiệm khung AI chatbot Sau đây là phầ n mô tả cài đ ặt khung AI chatbot, áp dụng cho lĩnh vự c quy chế đào t ạo của Trường Đại học Khoa học, Đại học Huế. 3.1 Thiế t kế chương trình – Giao tiếp với người dùng: Phầ n giao tiếp với người dùng đượ c cài đ ặt bằng cách sử dụng API tin nhắn của Facebook [14, 15]. Chi tiết của việc áp dụng này là như sau: Chúng tôi đã thiết lậ p một trang Facebook và cài đ ặt ứng dụng để nhậ n thông tin đăng nhậ p từ nhà phát triển

Đoàn Thị Hồng Phước và CS. Tập 131, Số 2A, 2022 46 Từ tậ p dữ liệu thu đượ c, chúng tôi tiến hành phân loại (gán nhãn ) các câu hỏi vào hơn 50 ch ủ đề khác nhau liên quan đến quy chế đào t ạo bằng cách chia nhỏ (làm mịn) năm chủ đề chính (Bả ng 1). Ngoài ra, đ ể có thể học đượ c ngữ cả nh, cầ n phả i xác định các thự c thể (entities) trong các câu hỏi (nếu có) của tậ p dữ liệu thu thậ p đượ c. Cụ thể, các thự c thể đượ c trích xuất bằng cách sử dụng công cụ NER có sẵn [16]. Tuy nhiên, các công cụ có sẵn chỉ có thể trích xuất đượ c các thự c thể thông dụng cho nhiề u lĩnh vự c như địa điểm, tổ chức, thời gian, tên riêng và số lượ ng. Vì vậ y, trong bài báo này, chúng tôi sử dụng công cụ có sẵn kết hợ p với xác định bằng tay các thự c thể trong lĩnh vự c quy chế đào t ạo đại học, như “Toán học rời rạc” là m ột thự c thể “môn học”/”học phầ n”. Bảng 1. Dạng câu hỏi và chủ đề tương ứng Câu hỏi Chủ đề (intent) Cách thức đăng ký h ọc phầ n bị trễ hạn Đăng ký h ọc phầ n trễ hạn Tôi muốn hủy học phầ n đã đăng ký Hủy học phầ n Điề u kiện để nhậ n học bổng là gì Điề u kiện học bổng Học phí của trường này khoả ng bao nhiêu? Học phí .... Ví dụ, câu văn bả n “Họ c phần Toán rời rạc có bao nhiêu tín chỉ?” có các thự c thể “Toán rời rạc” và “tín chỉ” và đượ c gán nhãn chủ đề “Thông tin họ c phần”. Hình 4. Một ví dụ về kịch bả n liên quan đến thông tin số tín chỉ của môn học và thông tin học bổng

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 47 – Tạo câu trả lời: Trong bài báo này, chúng tôi sử dụng cách tiếp cậ n dự a vào mẫu (Pattern- based approach) và truy hồi thông tin (Retrieval-based approach). Cụ thể, trong chương trình có hai loại câu trả lời: (1) Định nghĩa các câu trả lời cố định là các phát biểu (utterance) dự a vào văn bả n quy chế đào t ạo đại học của Trường Đại học Khoa học2, Đại học Huế, bao gồm 5 chương với 29 điề u; (2) Xây dự ng cơ sở dữ liệu chứa các thông tin liên quan đến quy chế đào t ạo. Dự a và o chủ đề và ngữ cả nh của thông điệp đầ u và o, hệ thống sẽ đưa ra câu trả lời thích hợ p bằng cách truy vấn và o cơ sở dữ liệu. – Thiết lập cấu hình cho luồng (pipeline) công việc trong file config.yml: Bao gồm các thành phầ n tạo nên NLU pipeline và các cơ ch ế phả n hồi (Rasa Core) (Hình 5 và Hình 6). • Cấu hình NLU pipeline Bên cạnh cho phép người sử dụng tích hợ p các công cụ tiề n xử lý từ bên ngoài, Rasa cung cấp một số mô hình ngôn ngữ như MitieNLP, SpacyNLP và HFTransformersNLP cho vi ệc tiề n xử lý như tách t ừ, vec tơ hóa đặc trưng (biểu diễn ngôn ngữ). Trong bài báo này, chúng tôi sử dụng mô hình ngôn ngữ SpacyNLP và cấu hình thông số để biểu diễn văn bả n tiếng việt [17]. Hình 5. NLU pipeline 2 https://it.husc.edu.vn/vanban/daihoc/?detail=227

Đoàn Thị Hồng Phước và CS. Tập 131, Số 2A, 2022 48 Hiện tại Rasa hỗ trợ một số bộ phân lớp chủ đề như KeywwordInentClassifier, MitieIntentClassifier, SklearnIntentClassifier và DIETClassifier. Trong đó, KeywwordInentClassifier là phương pháp đ ối sánh từ khoá dành cho dữ liệu nhỏ; bộ phân lớp MitieIntentClassifier sử dụng phương pháp phân lớp SVM đa lớp tuyến tính và SklearnIntentClassifier sử dụng phương pháp SVM tuyến tính để phân lớp chủ đề ; DIETClassifier (Dual Intent and Entity Transformer) là bộ phân lớp với kiến trúc đa nhiệm vụ gồm phân lớp chủ đề và nhậ n diện thự c thể có trong câu văn bả n. DIETClassifier là phương pháp hiện đại nhất, cả i tiến từ các phương pháp trước đây và cho ra k ết quả tốt nhất trong các phương pháp xác định chủ đề hiện nay [18]. Ngoài ra, Rasa cung cấp bộ phân lớp FallbackClassifier để phân loại câu văn bả n vào chủ đề nlu_fallback trong trường hợ p việc phân lớp nhậ p nhằng, nghĩa là dự a vào ngư ỡng độ tin cậ y fallback_threshold để xem xét chủ đề của câu văn bả n thuộc vào tậ p các chủ để đã có hay thuộc vào chủ đề nlu_fallback. Trong nghiên cứu này, chúng tôi kết hợ p các bộ phân lớp DIETClassifier và FallbackClassifier. o Cấu hình Rasa Core: Cấu hình các chính sách để quyết định hành đ ộng cầ n thự c hiện tại mỗi bước trong cuộc trò chuyện. Đa chính sách đượ c lự a chọn để thiết kế trong chương trình này. Hình 6. Rasa Core pipeline 3.2 Kế t quả thự c nghiệm Trong bài báo này, đ ộ đo đượ c sử dụng để đánh giá mô hình Rasa NLU và đánh giá c ủa

chuyên gia về các câu trả lời tương ứng với câu hỏi người sử dụng đưa vào khi tri ển khai chương trình là Precision, Recall, F-measure (F1) và Accuracy tương ứng ở các công thức (1), (2), (3) và (4). 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 (1) 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 (2)

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 49 𝐹1 = 2 × 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 (3) 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 (4) trong đó TP (True Positive) là tổng số trường hợ p dự báo đúng với lớp dương; TN (True Negative) là tổng số trường hợ p dự báo đúng với lớp âm; FP (False Positive) là tổng số trường hợ p các quan sát có nhãn thuộc lớp âm đượ c dự báo lớp dương; FN (False Negative) là tổng số trường hợ p các quan sát có nhãn thuộc lớp dương đượ c dự báo lớp âm. – Đánh giá mô hình Rasa NLU Sử dụng phương pháp k-fold cross validation với k = 5 bằng câu lệnh như sau: rasa test nlu --nlu data/nlu --cross-validation --folds 5. Kết quả đánh giá trên tậ p test đối với bộ phân lớp các chủ đề (intent classification) như sau: Accuracy = 84,6%; F1-score = 82,6%; Precision: 83,6% với ma trậ n nhầ m lẫn trình bày trên Hình 7. – Đánh giá của chuyên gia Chúng tôi đã tạo trang Facebook “Hỗ trợ đào t ạo – ĐHKH” và k ết nối với chương trình thông qua trình tin nhắn Facebook để chạy thử nghiệm. Chúng tôi mời một số chuyên gia (giả ng viên, sinh viên, nhân viên phòng đào t ạo) đặt câu hỏi thông qua cửa sổ chat FaceBook. Kết quả có 89,3% câu trả lời đúng với câu hỏi yêu cầ u của chuyên gia. Nội dung các câu hỏi liên quan đến lĩnh vự c quy chế đào t ạo đại học như cách đăng ký h ọc phầ n, điề u kiện đượ c học bổng, thông tin các học phầ n,....như đượ c mô tả ở Hình 8. Các trường hợ p đưa ra câu trả lời sai do người sử dụng

đưa vào câu h ỏi có chữ viết tắt, sai chính tả hoặc trong câu văn có từ đa nghĩa. Ngoài ra, đ ối với những câu hỏi không liên quan đến lĩnh vự c đào t ạo hoặc không có trong cơ sở dữ liệu thì bot sẽ đưa ra câu trả lời “Không hiểu câu hỏi của bạn”. 4 Kết luận và hướng ph á t triể n Bài báo trình bày khung AI chatbot dự a trên Rasa và minh họa cài đ ặt cho một lĩnh vự c cụ thể, đó là lĩnh v ự c quy chế đào t ạo đại học tại Trường Đại học Khoa học, Đại học Huế. Bả n cài đặt cùng các thông số đượ c thiết lậ p cho ra kết quả khá tốt. Mô hình hiểu ngôn ngữ tự nhiên có độ chính xác 84,6% và đ ộ chính xác theo đánh giá của các chuyên gia là 89,3%. Trên thự c tế, chương trình thử nghiệm cho ra kết quả tốt khi câu văn bả n đầ u vào là một câu đầ y đủ về cú pháp và không có ký tự viết tắt. Hướng phát triển của chương trình cầ n là phả i xây dự ng phầ n tiề n xử lý tiếng Việt. Ngoài ra, chương trình cầ n xây dự ng một cơ sở tri thức để

Đoàn Thị Hồng Phước và CS. Tập 131, Số 2A, 2022 50 có thể suy diễn và đưa ra gợ i ý các câu trả lời khi thông điệp đầ u vào không có trong tậ p dữ liệu đã định nghĩa s ẵn. Hình 7. Ma trậ n nhầ m lẫn

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 51 Hình 8. Một số hình ả nh minh họa cuộc hội thoại giữa người sử dụng và bot “H ỗ trợ đào t ạo – ĐHKH” Tài liệu tham khảo 1. A. Khanna, B. Pandey, K. Vashishta, K. Kalia, B. Pradeepkumar, and T. Das, “A Study of Today’s A.I. through Chatbots and Rediscovery of Machine Intelligence,” Int. J. U- E-Serv. Sci. Technol., vol. 8, no. 7, pp. 277–284, Jul. 2015, doi: 10.14257/ijunesst.2015.8.7.28. 2. E. Adamopoulou and L. Moussiades, “Chatbots: History, technology, and applications,” Mach. Learn. Appl., vol. 2, 2020, doi: 10.1016/j.mlwa.2020.100006. 3. Matt Johnston, “Deakin’s Genie assistant tackles 12,000 conversations a day,” 2019. [Online]. Available: https://www.itnews.com.au/news/deakins-genie-assistant-tackles-12000-conversations-a-day-530688 4. “Building a multi-channel Q&A chatbot at Saint Louis University using the open source QnABot,” 2019. https://aws.amazon.com/blogs/publicsector/building-a-multi-channel-qa chatbot-at-saint-louis- university-using-the-open-source-qnabot/ 5. “Georgia State University supports every student with personalized text messaging,” 2016. https://mainstay.com/case-study/how-georgia-state-university-supports-every-student-with- personalized-text-messaging/ 6. JOOST, “Amsterdam University Launches Chatbot.” https://cy2.nl/amsterdam-university-launches chatbot/ 7. H. Hien, C. Pham-Nguyen, L. Nam, H. Nhung, and T. Le Dinh, “Intelligent Assistants in Higher- Education Environments: The FIT-EBot, a Chatbot for Administrative and Learning Support,” in

Proceedings of the Ninth International Symposium on Information and Communication Technology, Danang City, Vietnam, 2018, pp. 69–76. doi: 10.1145/3287921.3287937. 8. Nghị Đ. T. and Tùng H., “Chatbot cho sinh viên công nghệ thông tin,” in Kỷ yếu hội nghị khoa học công nghệ quốc gia lần thứ XII nghiên cứu cơ bản và ứng dụng công nghệ thông tin, Hanoi, Vietnam, Oct. 2019. doi: 10.15625/vap.2019.00012.

Đoàn Thị Hồng Phước và CS. Tập 131, Số 2A, 2022 52 9. “https://dantri.com.vn/nhan-tai-dat-viet/san-pham-tro-ly-ao-thong-minh-tro-giup-sinh-vien-ptit chatbot-201908201268409412.” 10. T. T. Nguyen, A. D. Le, H. T. Hoang, and T. Nguyen, “NEU chatbot: Chatbot for admission of National Economics University,” Comput. Educ. Artif. Intell., vol. 2, p. 100036, Jan. 2021, doi: 10.1016/j.caeai.2021.100036. 11. S. Hussain, O. Sianaki, and N. Ababneh, “A Survey on Conversational Agents/Chatbots Classification and Design Techniques,” 2019, pp. 946–956. doi: 10.1007/978-3-030-15035-8_93. 12. Đoàn Thị Hồng Phước, Nguyễn Văn Trung, and Lê Văn Tường Lân, “ Một số phương pháp xác định chủ đề của câu văn bản trong hệ tư vấn ,” Tạp Chí KHCN Trường Đại Học Khoa Học Huế , vol. 18, no. 1, p. 47, Jun. 2021. 13. “Introduction to Rasa Open Source.” [Online]. Available: https://rasa.com/docs/rasa/ 14. “Connecting to Facebook messenger.” https://rasa.com/docs/rasa/connectors/facebook-messenger/ 15. “Facebook for Developer.” https://developers.facebook.com/docs/messenger-platform/overview 16. “Underthesea - Vietnamese NLP Toolkit.” [Online]. Available: https://underthesea.readthedocs.io/en/latest/readme.html 17. “Vietnamese models for spaCy.” https://github.com/trungtv/vi_spacy 18. Mady Mantha, “Introducing DIET: state-of-the-art architecture that outperforms fine-tuning BERT and is 6X faster to train,” 2020. https://rasa.com/blog/introducing-dual-intent-and-entity-transformer-diet- state-of-the-art-performance-on-a-lightweight-architecture/