NÂNG CAO HIỆU QUẢ PHÂN LỚP ẢNH X-QUANG VỚI MÔ HÌNH HỌC KẾT HỢP BỎ PHIẾU MỀM CÓ TRỌNG SỐ ĐƯỢC TỐI ƯU HÓA BẰNG TÌM KIẾM LƯỚI
hue-hujos-tt-8390.pdf · Phiên bản 1 · 16 trang
Phạm Thanh An và CS. 6 Abstract. Independent deep learning models are often limited by their inherent inductive bias: convolutional neural networks (CNNs) excel at automatically extracting local textures and features but lack global contextual awareness. Vision Transformers (ViTs) can capture long-range dependencies but are highly complex and require large datasets. This paper proposes a hybrid framework that integrates the different strengths of CNNs (ResNet-50, DenseNet-201) and Transformer (Swin-T) models. Instead of using the standard soft voting method, where all models are treated equally, we introduce a weighted soft voting strategy based on a grid search. The optimal contribution of each baseline model is refined via a comprehensive grid search on a validation dataset, and the final evaluation is performed on an independent test dataset to avoid data leakage. Experiments were conducted on two chest X-ray datasets, each comprising four pathological classes. Our proposed soft voting-based improvement achieved better classification performance compared to individual baseline models and traditional ensemble methods. On the ChestXray-ImageDataSet dataset, accuracy increased by 0.23% and 3.22%, respectively, compared with the best-performing model, Soft Voting, and the worst- performing model, ResNet-50. On the COVID-19 dataset, the proposed method increased accuracy by 0.54% compared to the best-performing ResNet-50 model and 4.76% compared to the worst- performing baseline model Swin-T, using the same training method.
Keywords: Grid search, Weighted soft voting, ensemble learning, X-ray classification 1 Mở đầu Học kết hợp (Ensemble Learning) là một phương pháp trong học máy, được xây dựng dựa trên triết lý "Trí tuệ đám đông". Mục tiêu cốt lõi của phương pháp này là kết hợp sức mạnh dự đoán của nhiều mô hình học máy cơ sở (base learners) để tạo ra một mô hình tổng hợp (strong learner) có độ chính xác, tính ổn định và khả năng tổng quát hóa vượt trội so với bất kỳ mô hình đơn lẻ nào trong tập hợp [1]. Học kết hợp đã được nghiên cứu và phát triển mạnh từ những năm 1990. Học kết hợp xây dựng nhiều bộ phân loại hoặc mô hình học cơ sở, sau đó kết hợp các kết quả dự đoán của chúng để cải thiện hiệu quả phân loại. Các mô hình cơ sở được gọi là các mô hình yếu [2]. Các phương pháp kết hợp toán học cố gắng xây dựng mô hình và suy ra các quy tắc kết hợp bằng cách sử dụng logic và thống kê [3]. Fumera và cộng sự [4] đã tiến hành một nghiên cứu toàn diện, kết hợp giữa phân tích lý thuyết và thực nghiệm, nhằm đánh giá hiệu quả của các mô hình phân loại, trong đó trọng tâm đặt vào các phương pháp kết hợp tuyến tính. Các tác giả đã tập trung khảo sát hai cơ chế kết hợp phổ biến: trung bình đơn giản và trung bình có trọng số. Kết quả phân tích cho thấy hiệu năng của các mô hình kết hợp tuyến tính không chỉ phụ thuộc vào độ chính xác riêng lẻ của từng bộ phân loại thành phần, mà còn chịu ảnh hưởng đáng kể bởi mức độ tương quan giữa các đầu ra của chúng. Khi các bộ phân loại có sai số độc lập hoặc có tương quan thấp, việc kết hợp sẽ mang lại lợi ích rõ rệt hơn. Đáng chú ý, các tác giả chứng minh
rằng phương pháp trung bình có trọng số thường đạt hiệu quả vượt trội so với trung bình đơn giản. Điều này được lý giải bởi khả năng phân bổ mức độ đóng góp khác nhau cho từng bộ phân loại, qua đó khai thác tốt hơn thông tin từ các mô hình có hiệu suất cao và hạn chế ảnh hưởng của các mô hình kém chính xác. Kittler và cộng sự [5] đã đề xuất một khung lý thuyết tổng quát cho bài toán kết hợp các bộ phân loại. Các tác giả đặc biệt tập trung vào các mô hình tổ hợp, trong đó mỗi bộ phân loại được xây dựng trên những tập đặc trưng riêng biệt, qua đó khai thác tính bổ sung thông tin giữa các không gian đặc trưng khác nhau nhằm nâng cao hiệu quả phân loại tổng thể [5]. Học sâu đã nổi lên như một nhánh quan trọng của học máy và được ứng dụng rộng rãi trong các bài toán thị giác máy tính. Đó là một phương pháp xử lý dữ liệu sử dụng nhiều lớp cấu trúc phức tạp hoặc nhiều lớp xử lý bao gồm nhiều