ScatSimCLR: 소규모 데이터셋을 위한 사전 과제 정규화를 통한 자기지도 학습 대비 학습

본 논문에서는 데이터의 다중 뷰 간의 대조 손실(contrastive loss)을 기반으로 한 소규모 데이터셋을 위한 자기 지도 학습(self-supervised learning) 문제를 다룬다. 이 방법은 분류 과제에서 최신 기술 수준의 성능을 보여주고 있다. 그러나 보고된 성능에도 불구하고, 복잡한 아키텍처를 필요로 하는 학습의 복잡성, 데이터 증강(data augmentation)을 통해 생성되는 뷰의 수, 그리고 이러한 요소들이 분류 정확도에 미치는 영향에 대한 연구는 여전히 부족한 실정이다. 이러한 요소들의 역할을 명확히 하기 위해, SimCLR과 같은 대조 손실 시스템의 아키텍처를 고려하며, 기준 모델(baseline model)을 기하학적 불변(geometrically invariant)한 '손으로 설계된(hand-crafted)' 네트워크인 ScatNet과 작은 학습 가능한 어댑터(adaptor) 네트워크로 대체하는 방안을 제안한다. 이에 따라 전체 시스템의 파라미터 수와 뷰의 수를 상당히 줄일 수 있으며, 동시에 분류 정확도는 거의 유지할 수 있음을 주장한다. 또한, 회전(rotation) 및 조각 퍼즐(jigsaw permutation)과 같은 증강 변환의 파라미터 추정을 기반으로 한 사전 과제(pretext task) 학습을 활용한 정규화 전략(regularization strategy)이 기존 기준 모델과 ScatNet 기반 모델 모두에 미치는 영향을 탐구한다. 마지막으로, 제안하는 아키텍처와 사전 과제 학습 기반 정규화를 결합함으로써, 더 적은 학습 가능한 파라미터 수와 줄어든 뷰 수로도 최신 기술 수준의 분류 성능을 달성함을 실험적으로 입증한다.