MIM-Refiner: 중간 사전 학습 표현에서 얻는 대조적 학습의 향상

MIM (Masked Image Modeling) 리파이너를 소개합니다. 이는 사전 학습된 MIM 모델을 위한 대조학습 강화 기법입니다. MIM-리파이너는 MIM 모델 내에서 강력한 표현이 일반적으로 중간 계층에 존재한다는 인사이트에서 영감을 받아 설계되었습니다. 따라서, MIM-리파이너는 다양한 중간 계층에 연결된 여러 개의 대조 헤드를 활용합니다. 각 헤드에서는 수정된 최근접 이웃 목표가 의미적 클러스터를 구성하여, 이는 의미 정보를 포착하여 다운스트림 작업의 성능을 향상시키는데 도움을 줍니다. 이 작업은 오프더셀프 및 미세 조정 설정 모두 포함됩니다.리파인 과정은 짧고 간단하지만 매우 효과적입니다. 몇 에폭 동안 학습하면, MIM 모델의 특징들이 하위 수준에서 최신 수준의 오프더셀프 특징으로 개선됩니다. ImageNet-1K 데이터셋으로 data2vec 2.0을 사용해 사전 학습된 ViT-H를 리파인함으로써, 선형 탐색(84.7%)과 저 샷 분류에서 새로운 최신 수준의 성능을 달성하였습니다. 또한, MIM-리파이너는 MIM과 ID 목표의 장점을 효율적으로 결합하여, 저 샷 분류, 장꼬리 분류, 클러스터링 및 의미 세그멘테이션 등 다양한 벤치마크에서 이전 최신 수준의 자기 지도 학습(SSL) 모델들보다 우수한 성능을 보여줍니다.