MV-MR: 다중 시각과 다중 표현을 이용한 자기 지도 학습 및 지식 증류

우리는 다중 시각과 다중 표현(MV-MR)을 기반으로 하는 새로운 자기 지도 학습 및 지식 증류 방법을 제시합니다. MV-MR은 증강된 시각과 비증강된 시각에서 얻은 학습 가능한 임베딩 간의 의존성 최대화와 함께, 증강된 시각에서 얻은 학습 가능한 임베딩과 비증강된 시각에서 얻은 여러 비학습 가능한 표현 간의 의존성 최대화를 기반으로 합니다. 우리는 제안된 방법이 효율적인 자기 지도 분류와 모델 독립적 지식 증류에 사용될 수 있음을 보여줍니다. 다른 자기 지도 기술들과 달리, 우리의 접근 방식은 어떤 대조적 학습, 클러스터링, 또는 그래디언트 중단도 사용하지 않습니다. MV-MR은 이미지 다중 표현을 정규화기로 사용하여 학습 가능한 임베딩에 대한 제약 조건을 통합할 수 있는 일반적인 프레임워크입니다. 이 맥락에서, 지식 증류는 이러한 정규화의 특수한 경우로 고려됩니다. MV-MR은 대조적 학습이나 클러스터링이 없는 방법들 중 STL10 및 ImageNet-1K 데이터셋에서 최고 수준의 성능을 제공합니다. 우리는 CLIP ViT 모델을 기반으로 제안된 지식 증류 방법으로 사전 훈련된 복잡도가 낮은 ResNet50 모델이 STL10 선형 평가에서 최고 수준의 성능을 달성함을 보여줍니다. 코드는 다음 주소에서 이용 가능합니다: https://github.com/vkinakh/mv-mr