자기 발견, 자기 분류, 및 자기 복원을 통한 의미 풍부한 표현 학습

의학 영상은 인간 해부학에 대한 풍부한 의미를 자연스럽게 연관시키며, 이는 반복되는 해부학적 패턴의 풍부함을 통해 나타납니다. 이러한 특성은 다양한 의학 응용 분야에서 더 강력하고 의미적으로 뛰어난 모델을 생성할 수 있는 독특한 잠재력을 제공합니다. 그러나 의학 영상에 내재된 강력하면서도 자유로운 의미를 어떻게 활용하여 자기 지도 학습(self-supervised learning)을 수행할 수 있을지는 아직 대부분 연구되지 않았습니다.이를 위해 우리는 깊은 모델을 훈련시켜 의학 영상 아래에 있는 해부학적 구조를 스스로 발견(self-discovery), 스스로 분류(self-classification), 그리고 스스로 복원(self-restoration)하도록 하여, 의미적으로 풍부한 일반적인 사전 훈련 3D 모델인 Semantic Genesis(의미 기원)을 개발하였습니다. 우리는Semantic Genesis를 모든 공개된 사전 훈련 모델들과 비교하여 검증하였으며, 이들 모델들은 자기 지도 또는 완전히 지도된(full supervision) 방식으로 훈련되었습니다. 이를 6가지 다른 목표 작업(classification 및 segmentation 포함)과 다양한 의학 영상 모달리티(CT, MRI, X-ray 등)에서 평가하였습니다.우리의 광범위한 실험 결과는 Semantic Genesis가 모든 3D 대응모델뿐만 아니라 사실상 2D에서 사용되는 ImageNet 기반 전이 학습(ImageNet-based transfer learning)보다도 현저히 우수함을 입증하였습니다. 이러한 성능은 일관된 해부학적 구조가 내재된 의학 영상으로부터 유래하는 풍부한 해부학적 패턴에서 강력한 의미 표현을 학습하도록 촉진하는 우리의 혁신적인 자기 지도 학습 프레임워크에 기인합니다.Semantic Genesis의 코드와 사전 훈련된 모델은 https://github.com/JLiangLab/SemanticGenesis 에서 이용 가능합니다.