역 지식 증류: 제한된 데이터에서 소형 모델을 사용하여 대형 모델을 훈련시키는 방법 망막 이미지 매칭을 위한 연구

시력 이미지 매칭은 질병 진행 및 치료 반응 모니터링에서 중요한 역할을 합니다. 그러나 시간적으로 분리된 이미지 쌍 간의 일치하는 키포인트를 포함한 데이터셋이 충분히 제공되지 않아 트랜스포머 기반 모델을 훈련시키는 데 어려움이 있습니다. 우리는 제한된 데이터로 대형 모델을 훈련시키면서 과적합을 방지하기 위한 새로운 접근법으로 역 지식 증류(reverse knowledge distillation)를 제안합니다. 첫째, 공개된 데이터셋에서 성능을 개선하기 위해 CNN 기반 반감독 학습 방법인 SuperRetina에 대한 구조적 수정을 제안합니다. 둘째, 더 가벼운 CNN 기반 모델을 사용하여 비전 트랜스포머 인코더를 기반으로 하는 계산적으로 무거운 모델을 훈련시키는데, 이는 일반적으로 더 무거운 모델을 기반으로 더 가벼운 모델을 훈련시키는 지식 증류 연구 분야의 관례와는 반대되는 접근입니다. 의외로 이러한 역 지식 증류는 일반화를 더욱 개선하였습니다. 우리의 실험 결과는 표현 공간에서 고차원적 피팅이 최종 출력과 직접 일치하도록 훈련하는 것과 달리 과적합을 방지할 수 있음을 시사합니다. 또한, 시력 이미지 키포인트 검출 및 매칭에 대한 주석이 포함된 공개 데이터셋을 제공하여 시력 이미지 응용 프로그램 알고리즘 개발에 도움이 되고자 합니다.