이동 가능한 시각적 단어: 자기지도 학습을 위한 해부학적 패턴의 의미 정보 활용

이 논문은 의료 영상 분석 분야에서 딥러닝의 주석 효율성을 높이기 위해 새로운 개념인 '이동 가능한 시각적 단어(Transferable Visual Words, TransVW)'를 제안한다. 의료 영상은 특정 해부학적 부위에 초점을 맞춰 정의된 임상 목적을 달성하기 위해 획득되며, 환자 간 해부학적으로 매우 유사한 이미지를 생성하며, 이미지 간에는 풍부한 의미 정보를 담고 있는 정교한 해부학적 패턴이 나타난다. 이러한 패턴들은 인간 해부학에 대한 풍부한 의미를 지닌 자연스러운 시각적 단어로 간주될 수 있다. 본 연구에서는 이러한 시각적 단어가 해부학적 일관성에 기반하여 자가 탐색(self-discovery)을 통해 자동으로 추출될 수 있음을 보이며, 자가 탐색을 통해 얻어진 시각적 단어가 자기 지도 학습(self-supervised learning)을 통해 의미가 � бог rich한 일반적인 이미지 표현을 학습하는 데 강력하면서도 무료인 감독 신호로 활용될 수 있음을 입증한다. 이 자기 지도 학습은 자기 분류(self-classification)와 자기 복원(self-restoration)을 포함한다. 광범위한 실험을 통해 TransVW는 다양한 응용 분야에서 더 높은 성능과 빠른 수렴 속도를 제공하면서도 주석 비용을 줄여 annotation 효율성이 뛰어나다는 점을 입증하였다. TransVW의 주요 장점은 다음과 같다. (1) TransVW는 완전히 자가학습적인 체계로서, 시각적 단어의 의미를 활용하여 전문가의 주석 없이도 자기 지도 학습을 수행할 수 있다. (2) 시각적 단어 학습은 기존 자기 지도 학습 방법에 보완적으로 적용 가능한 전략이며, 기존 방법의 성능을 향상시킨다. (3) 학습된 이미지 표현은 의미가 풍부한 모델을 제공하며, 이는 다양한 응용 분야에서 전이 학습을 통해 주석 작업을 절감할 수 있도록 하여 더 강건하고 일반화 능력이 뛰어나다는 것이 입증되었다. 본 연구의 소스 코드, 사전 학습된 모델, 그리고 체계적으로 정리된 시각적 단어는 https://github.com/JLiangLab/TransVW 에서 공개되어 있다.