모델 제네시스: 3D 의료 영상 분석을 위한 일반적인 자가 학습 모델

자연 이미지에서 의료 이미지로의 전이 학습은 의료 이미지 분석을 위한 딥러닝에서 가장 실용적인 패러다임 중 하나로 확립되었습니다. 그러나 이 패러다임에 맞추기 위해, CT 및 MRI와 같은 주요 영상 모달리티의 3D 영상 작업은 2D로 재구성되고 해결되어야 하며, 이 과정에서 풍부한 3D 해부학적 정보를 잃게 되어 성능이 불가피하게 저하됩니다. 이러한 제한을 극복하기 위해 우리는 'Generic Autodidactic Models'라고 불리는 모델 세트를 구축하였으며, 이를 '모델 제네시스'라는 애칭으로 부릅니다. 이는 수동 라벨링 없이(ex nihilo), 자기 지도 학습(self-supervision)을 통해 학습되며, 특정 응용 프로그램에 맞는 대상 모델을 생성하는 출처 모델(source models)로서 일반적으로 활용될 수 있기 때문입니다.우리의 광범위한 실험 결과는, 분할과 분류를 모두 포함하는 다섯 개의 대상 3D 응용 프로그램에서 모델 제네시스가 처음부터 학습하는 것보다 현저히 우수한 성능을 보인다는 것을 입증하였습니다. 더욱 중요한 점은, 단순히 3D에서 처음부터 모델을 학습하는 것이 반드시 2D ImageNet에서의 전이 학습보다 더 좋은 성능을 내지는 않지만, 우리의 모델 제네시스는 ImageNet에서 사전 학습된 모델의 미세 조정(fine-tuning)뿐만 아니라 2D 버전의 우리 모델 제네시스의 미세 조정까지 모든 2D 접근 방식보다 일관되게 우수한 성능을 보였습니다. 이는 3D 해부학적 정보의 중요성과 우리의 모델 제네시스가 3D 의료 영상에 대한 중요성을 확인해주었습니다.이러한 성능은 복잡하면서 반복되는 의료 이미지의 해부학적 구조가 강력한 감독 신호로 작용하여 딥러닝 모델이 자동으로 공통적인 해부학적 표현(common anatomical representation)을 배울 수 있다는 간단하면서도 강력한 관찰에 기반한 통합된 자기 지도 학습 프레임워크에 기인합니다. 오픈 사이언스(open science) 차원에서 모든 사전 학습된 모델 제네시스는 https://github.com/MrGiovanni/ModelsGenesis 에서 제공됩니다.