초록
최근 들어, 적절한 자기지도 학습(self-supervision)을 도입하는 것이 지도 학습의 성능을 향상시키는 전망 있는 방법임이 입증되고 있다. 그러나 기존의 사전 과제(pretext tasks)가 비지도 표현 학습에 특화되어 있어, 자기지도 학습의 잠재력이 충분히 발휘되지 못하고 있다. 이를 해결하기 위해, 본 연구는 지도 학습 목표를 보조하기 위한 보조 과제(auxiliary tasks)에 대해 세 가지 바람직한 성질을 제시한다. 첫째, 과제는 모델이 풍부한 특징을 학습하도록 유도해야 한다. 둘째, 자기지도 학습에 포함된 변환(transformations)은 훈련 분포를 크게 변화시켜서는 안 된다. 셋째, 과제는 가볍고 일반적인 형태여야 하며, 기존 기법들에 높은 적용 가능성을 갖추어야 한다. 이후 이러한 성질을 충족시키고 지도 학습에 적합하도록 조정할 수 있는 기존 사전 과제들의 가능성을 탐색하기 위해, 국소화 가능한 회전 예측(Localizable Rotation, LoRot)이라는 간단한 보조 자기지도 학습 과제를 제안한다. 광범위한 실험을 통해 LoRot이 지도 학습을 위한 사전 과제로서 강건성과 일반화 능력 측면에서 뛰어난 성능을 보임을 입증하였다. 본 연구의 코드는 https://github.com/wjun0830/Localizable-Rotation 에서 공개되어 있다.