NÂNG CAO HIỆU QUẢ PHÂN LỚP ẢNH X-QUANG VỚI MÔ HÌNH HỌC KẾT HỢP BỎ PHIẾU MỀM CÓ TRỌNG SỐ ĐƯỢC TỐI ƯU HÓA BẰNG TÌM KIẾM LƯỚI

Phạm Thanh An và CS. 8 động dò tìm tỷ trọng phân bổ trọng số tối ưu cho từng mạng cơ sở mà không cần bất kỳ chi phí lan truyền ngược (backpropagation) bổ sung nào, đồng thời tránh được hoàn toàn rủi ro rò rỉ dữ liệu (data leakage). Ý tưởng kết hợp các mô hình học sâu cơ sở không phải là mới, nhưng vẫn còn rất nhiều tiềm năng để phát triển các phương pháp kết hợp mới, các loại đặc trưng và bộ phân loại được sử dụng, cũng như các ứng dụng mới trong lĩnh vực y tế. Những đóng góp chính của nghiên cứu này có thể được tóm tắt như sau: • Đề xuất mô hình kết hợp các kiến trúc không đồng nhất: Đề xuất một khung học kết hợp lai ghép hiệu quả giữa khả năng trích xuất vùng tổn thương cục bộ của CNNs (gồm ResNet- 50, DenseNet-201) và khả năng nắm bắt bối cảnh toàn cục của Transformer (Swin-T), giúp bù đắp các khiếm khuyết về khả năng biểu diễn đặc trưng của hình ảnh y khoa. • Tối ưu hóa trọng số hiệu quả: Triển khai chiến lược tối ưu hóa trọng số thông qua thuật toán tìm kiếm lưới. Phương pháp của chúng tôi nhằm tối đa hóa trực tiếp các chỉ số chẩn đoán (F1-Score) trên tập xác thực, đồng thời vẫn duy trì khả năng diễn giải trên tập kiểm thử mà không phát sinh thêm chi phí huấn luyện. Đây là một cải tiến của phương pháp đề xuất so với phương pháp bỏ phiếu mềm sử dụng trung bình xác suất của ba mô hình cơ sở. 2 Các nghiên cứu liên quan Trong thập kỷ qua, sự bùng nổ của học sâu (Deep Learning - DL) đã tạo ra một bước ngoặt lớn trong chẩn đoán hình ảnh y khoa. Việc áp dụng kỹ thuật học chuyển giao (Transfer Learning) [11] từ các bộ trọng số được tiền huấn

luyện trên ImageNet đã trở thành phương pháp tiêu chuẩn nhằm khắc phục tình trạng khan hiếm dữ liệu y tế được gán nhãn. Nhiều nghiên cứu đã chứng minh tính hiệu quả của các kiến trúc mạng nơ-ron tích chập như ResNet [12] và DenseNet [13] trong việc nhận diện các bệnh lý ở lồng ngực. Với cấu trúc kết nối tắt và kết nối dày đặc (dense connectivity), các mạng này giải quyết thành công vấn đề triệt tiêu đạo hàm, cho phép trích xuất các đặc trưng vi mô cực kỳ rõ nét như các nốt mờ hay vùng tổn thương trên phim X-quang. Manaee và cộng sự [14] đã sử dụng phương pháp học chuyển giao trên mô hình ResNet, DenseNet để tự động phát hiện COVID-19. Phương pháp của họ đạt tỷ lệ độ nhạy là 98% (± 3%), trong khi tỷ lệ độ đặc hiệu khoảng 90%. Gần đây với sự xuất hiện của Vision Transformer (ViT) [9] và những mô hình cải tiến dựa trên Transformer tiêu biểu là kiến trúc Swin- Transformer [15] đã mang đến một cách tiếp cận mới. Thay vì phụ thuộc vào các bộ lọc tích chập cục bộ, Swin Transformer sử dụng cơ chế tự chú ý dạng cửa sổ dịch chuyển (shifted-window self- attention) để mô hình hóa các mối quan hệ ngữ cảnh toàn cục (global context) của các cơ quan giải phẫu. Mặc dù cả CNNs và Transformer đều đạt được những kết quả ấn tượng, những nghiên cứu gần đây chỉ ra rằng: mô hình CNNs thường có ưu thế trong việc nắm bắt, trích xuất các kết cấu cục bộ (local textures), trong khi Transformer lại vượt trội ở khả năng nhận diện hình thái cấu trúc tổng thể. Sự bù trừ này chính là tiền đề cho các mô hình kết hợp không đồng nhất [16]. Pham và Hoàng [17] đã cải tiến mô hình Transformer để

phát hiện các bệnh phổi sử dụng phim X-quang, đối với phát hiện lớp COVID-19 tỷ lệ đạt 99.78%. Để khai thác sức mạnh của nhiều mô hình khác nhau, nhiều giải pháp đề xuất sử dụng kỹ thuật học tập kết hợp. Các phương pháp như bỏ phiếu cứng (Majority/Hard Voting) và bỏ phiếu mềm (Soft Voting) [5], [10]. Trong bỏ phiếu cứng, mỗi bộ phân loại đưa ra một nhãn lớp riêng. Dự đoán cuối cùng được xác định bằng bỏ phiếu đa số, trong đó lớp nhận được nhiều phiếu bầu nhất sẽ được chọn. Với phương pháp bỏ phiếu mềm, mỗi bộ phân loại cung cấp một phân phối xác suất