TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN CẤU TRÚC iRS-TREE VÀ ONTOLOGY

jos.hueuni.edu.vn Tập 131, Số 2A, 2022 163 Hệ tìm kiếm bao gồm hai pha: (1) xây dựng cây phân cụm phân cấp dựa trên cấu trúc R- Tree, thực hiện trích xuất các đặc trưng của hình ảnh trong tập dữ liệu, phân đoạn hình ảnh để tạo các phân lớp khái niệm và thực hiện gom cụm dữ liệu dựa trên độ đo tương đồng Euclidean; tạo một ontology cho hình ảnh dựa trên phần mềm Protégé và tạo một cấu trúc từ điển nhằm mô tả ngữ nghĩa cho các đối tượng hình ảnh; (2) pha truy vấn ảnh thực hiện hai quá trình truy vấn: truy vấn trên cụm dữ liệu đã phân hoạch để tìm tập ảnh tương tự, từ vựng thị giác và chú thích của từng hình ảnh trong tập ảnh; truy vấn trên ontology dựa vào từ vựng thị giác để tạo ra tập ảnh tương tự theo ngữ nghĩa; đồng thời, ngữ nghĩa cấp cao của hình ảnh được truy xuất từ bộ từ điển được xây dựng. Pha xây dựng cấu trúc phân cụm và ontology gồm năm bước như sau: Bước 1. Trích xuất các véc-tơ đặc trưng cấp thấp và phân lớp của hình ảnh (1-2); Bước 2. Chuyển đổi các véc tơ đặc trưng ảnh thành dạng khối cầu (3); Bước 3. Gom cụm dữ liệu theo phương pháp phân cụm phân cấp dựa trên cấu trúc iRS- Tree (4); Bước 4. Chọn bộ dữ liệu ảnh từ WWW, rút trích URI và các mô tả, chú thích; tạo các dữ liệu mẫu các lớp, thuộc tính, cá thể, mô tả ngữ nghĩa cho hình ảnh (5); Bước 5. Làm giàu ontology và tạo cấu trúc từ điển ngữ nghĩa các tập dữ liệu ảnh (6); Pha truy vấn ảnh: bao gồm hai giai đoạn chính. Giai đoạn 1: Truy vấn hình ảnh dựa trên cấu trúc phân cụm dữ liệu iRS-Tree Bước 1. Trích xuất các vec-tơ đặc trưng của ảnh truy vấn và chuyển đổi thành dạng khối cầu (7-8);

Bước 2. Truy vấn tập ảnh tương tự trên cấu trúc iRS-Tree đã xây dựng (9-10-11). Bước 3. Phân lớp ảnh truy vấn bằng phương pháp kNN (12-13) Giai đoạn 2: Truy vấn ngữ nghĩa dựa vào ontology và từ điển Bước 1. Tạo câu truy vấn SPARQL từ các lớp của vec-tơ từ thị giác của ảnh truy vấn (14); Bước 2. Truy vấn ảnh tương tự dựa trên ontology và trích xuất ngữ nghĩa dựa trên từ điển (15-16); Bước 3. Trả về tập các hình ảnh tương tự và các mô tả ngữ nghĩa của hình ảnh (17).