
딥 신경망의 성공에도 불구하고, 데이터 부족 문제—예를 들어 데이터 불균형, 미관측 분포, 도메인 전이 등—으로 인해 딥 표현 학습 분야에서는 여전히 많은 도전 과제가 존재한다. 이러한 문제를 해결하기 위해 기존의 다양한 방법들이 제안되었으나, 대부분 입력 공간이나 손실 함수의 관점에서 샘플 간 관계를 일견적으로 탐색하는 방식에 그치며, 딥 신경망 내부 구조를 활용하여 샘플 간 관계를 학습하는 데에는 실패하고 있다. 이러한 점에 착안하여, 본 연구에서는 딥 신경망 자체가 각 미니배치로부터 샘플 간 관계를 학습할 수 있는 능력을 갖추도록 제안한다. 구체적으로, 각 미니배치의 배치 차원에 적용 가능한 배치 트랜스포머 모듈(BatchFormer)을 도입하여 학습 과정에서 샘플 간 관계를 암묵적으로 탐색하도록 한다. 이를 통해 다양한 샘플 간 협업이 가능해지며, 특히 긴 꼬리 분포(long-tailed) 인식에서 헤드 클래스 샘플이 테일 클래스의 학습에도 기여할 수 있게 된다. 또한, 학습과 테스트 간의 격차를 완화하기 위해, 학습 시 BatchFormer가 포함되거나 제외된 경우 모두 동일한 분류기(classifier)를 공유하도록 하여, 테스트 시에는 BatchFormer를 제거할 수 있도록 한다. 제안한 방법은 10개 이상의 데이터셋에서 광범위한 실험을 수행한 결과, 별도의 추가 기법 없이도 긴 꼬리 인식, 복합적 제로샷 학습, 도메인 일반화, 대조적 학습 등 다양한 데이터 부족 상황에서 유의미한 성능 향상을 달성하였다. 코드는 https://github.com/zhihou7/BatchFormer에서 공개될 예정이다.