TÌM KIẾM ẢNH ĐA ĐỐI TƯỢNG DỰA TRÊN MẠNG R-CNN VÀ CẤU TRÚC KD-TREE

Đào Xuân Bảo và CS. Tập 131, Số 2A, 2022 54 Abstract. Multi-object image retrieval is a crucial problem in the field of image retrieval because of the diversity and complexity of digital images. In this paper, a method of multi- object image retrieval based on the R-CNN network with a KD-Tree structure is proposed to benefit from the advantages of the R-CNN network in identifying and classifying each object on the image separately; at the same time, the KD-Tree structure has high storage capacity and stable retrieval time. To solve this problem, we extracted the objects on the image data set, classified them with the R-CNN network model, and stored them on the KD-Tree structure. Then, each input image was segmented according to each object; the feature vector was extracted, and a similar image set was retrieved based on the KD-Tree structure. On this basis, a model of image retrieval using the R-CNN network and KD-Tree structure was proposed. To demonstrate the correctness of the proposed theoretical basis, we developed an experiment on the COCO image data set with an image retrieval precision of 0.6898. The experimental results were compared with other works on the same data set. This comparison proves the feasibility and effectiveness of the proposed method, which can be applied to multi-object images. Keywords: R-CNN, KD-Tree, Multi-object image, image retrieval, similar images 1 Giới thiệu Sự phát triển của các loại thiết bị điện tử làm cho dữ liệu đa phương tiện gia tăng nhanh

theo thời gian, đặc biệt là ảnh đa đối tượng [1, 2]. Ngày nay, số lượng ảnh đa đối tượng gia tăng nhanh về số lượng và đa dạng về chủng loại thuộc nhiều lĩnh vực cũng là thách thức cho bài toán tìm kiếm ảnh đa đối tượng. Hơn nữa, việc xác định và bóc tách từng đối tượng riêng biệt trên ảnh đa đối tượng để có hiệu suất cao là một bài toán phức tạp. Sau khi phân đoạn và phân lớp từng đối tượng trên ảnh, việc lựa chọn một kỹ thuật học máy để thực hiện bài toán tìm kiếm ảnh để có hiệu suất truy vấn cao cũng là một thách thức. Vì vậy, bài toán tìm kiếm ảnh đa đối tượng được nhiều nhóm nghiên cứu quan tâm cải tiến và nâng cao hiệu suất và thời gian truy vấn ổn định. Hiện nay, có nhiều phương pháp để thực hiện quá trình phát hiện và phân loại từng đối tượng trên ảnh đa đối tượng như R-CNN (Region Convolutional Neural Network), Fast R-CNN, Faster R-CNN [12, 13]. Trong bài báo này, mỗi hình ảnh đầu vào được phân đoạn thành các vùng để nhận diện đối tượng bằng mô hình mạng R-CNN đồng thời phân loại từng đối tượng trên mỗi hình ảnh đã mang lại hiệu suất cao. Hiệu suất tìm kiếm của bài toán truy vấn ảnh chịu ảnh hưởng của quá trình lưu trữ và tổ chức dữ liệu. Đồng thời, một cấu trúc dữ liệu lưu trữ hình ảnh là yếu tố ảnh hưởng đến thời gian tìm kiếm. Hiện nay, có một số cấu trúc dữ liệu dạng cây được ứng dụng nhiều trong bài toán tìm kiếm ảnh như S-Tree [3] và KD-Tree [4, 8, 14]. Trên cơ sở kế thừa cấu trúc dữ liệu đa chiều, KD- Tree được sử dụng cho quá trình lưu trữ để tìm kiếm tập ảnh tương tự với ảnh đầu vào được

đánh giá là khả thi và hiệu quả thông qua các công trình [4, 9]. Trong bài báo này, mỗi hình ảnh sau khi thực hiện phân đoạn theo từng đối tượng, phân loại bằng mô hình R-CNN và trích xuất