혼합 샘플을 활용한 Barlow Twins에 대한 과적합 방지 기법

자기지도 학습(Self-supervised Learning, SSL)은 레이블이 없는 데이터에 의존하지 않고, 후속 응용에 활용 가능한 전이 가능한 특징 표현을 학습하는 것을 목표로 한다. 대표적인 Barlow Twins 알고리즘은 대조 학습 기반의 방법들과 비교해 널리 채택되고 있으며 구현이 간단한 장점이 있다. 이 알고리즘은 공통적인 오염에 대해 불변성을 극대화하면서 특징의 중복을 최소화한다. 이러한 목적을 최적화함으로써 네트워크는 유용한 표현을 학습하게 되며, 노이즈가 많거나 일정한 특징을 피하게 되어 제한된 적응 조건에서도 후속 작업 성능이 향상된다. Barlow Twins의 사전 훈련에서 입증된 효과에도 불구하고, 대조 학습과 달리 샘플 간 강한 상호작용이 부족한 점으로 인해, 기존 SSL 목적함수는 특징 과적합(overfitting)을 유도할 수 있다. 실험을 통해 우리는 Barlow Twins 목적함수를 최적화한다고 해서 특정 사전 훈련 단계 이후에도 표현 품질이 지속적으로 향상되지는 않으며, 일부 데이터셋에서는 후속 작업 성능이 오히려 저하될 수 있음을 관찰했다. 이 문제를 해결하기 위해 우리는 선형 보간된 샘플을 통해 Barlow Twins 훈련 중 샘플 간 상호작용을 강화하는 Mixed Barlow Twins를 제안한다. 이는 입력 공간에서의 선형 보간이 특징 공간에서도 선형 보간된 특징을 생성한다고 가정함으로써 기존 Barlow Twins 목적함수에 추가적인 정규화 항을 도입한다. 이러한 정규화를 적용한 사전 훈련은 특징 과적합을 효과적으로 완화하며, CIFAR-10, CIFAR-100, TinyImageNet, STL-10 및 ImageNet 데이터셋에서 후속 작업 성능을 더욱 향상시킨다. 코드와 체크포인트는 다음 주소에서 제공된다: https://github.com/wgcban/mix-bt.git