Bootstrap your own latent: A new approach to self-supervised Learning 자신의 잠재 변수를 부트스트랩하다: 자기 지도 학습의 새로운 접근 방식

우리는 자기 지도 이미지 표현 학습의 새로운 접근 방법인 Bootstrap Your Own Latent (BYOL)을 소개합니다. BYOL은 온라인 네트워크와 타겟 네트워크로 알려진 두 개의 신경망이 상호작용하며 서로에게서 배우는 원리에 기반합니다. 이미지의 증강된 뷰에서 우리는 온라인 네트워크를 다른 증강된 뷰에서 같은 이미지의 타겟 네트워크 표현을 예측하도록 훈련시킵니다. 동시에, 우리는 온라인 네트워크의 천천히 이동하는 평균으로 타겟 네트워크를 업데이트합니다. 최신 방법론들은 부정적인 쌍에 의존하지만, BYOL은 이러한 부정적인 쌍 없이 새로운 최고 수준의 성능을 달성하였습니다. BYOL은 ResNet-50 아키텍처를 사용하여 ImageNet에서 선형 평가로 74.3%의 Top-1 분류 정확도를 달성하였으며, 더 큰 ResNet을 사용할 경우 79.6%의 정확도를 기록하였습니다. 우리는 BYOL이 전송 학습과 반지도 학습 벤치마크에서 현재 최고 수준과 동등하거나 그 이상의 성능을 보임을 입증하였습니다. 우리의 구현 및 사전 훈련된 모델은 GitHub에서 제공됩니다.