DMT: 반응형 상호 학습을 통한 반감독 학습

최근의 반감독 학습 방법들은 주로 가상의 감독 신호(pseudo supervision)를 핵심 아이디어로 삼고 있으며, 특히 가상 레이블(pseudo labels)을 생성하는 자기훈련(self-training) 방법이 두드러진다. 그러나 가상 레이블은 신뢰할 수 없는 경우가 많다. 자기훈련 방법은 일반적으로 단일 모델의 예측 신뢰도를 기반으로 낮은 신뢰도의 가상 레이블을 필터링하지만, 이로 인해 높은 신뢰도를 가진 오류 레이블은 그대로 남아 있게 되며, 많은 낮은 신뢰도의 정확한 레이블들이 낭비된다. 본 논문에서는 모델이 자신의 오류를 스스로 보정하기는 어렵다는 점을 지적한다. 대신, 서로 다른 모델 간의 불일치(disagreement)를 활용하는 것이 가상 레이블 오류를 탐지하는 핵심이라는 새로운 관점을 제시한다. 이러한 새로운 시각을 바탕으로, 동적으로 재가중되는 손실 함수를 통해 두 개의 서로 다른 모델 간의 상호 훈련(mutual training)을 제안하며, 이를 동적 상호 훈련(Dynamic Mutual Training, DMT)이라 명명한다. DMT는 두 개의 서로 다른 모델의 예측을 비교함으로써 모델 간 불일치를 정량화하고, 이를 기반으로 훈련 중 손실을 동적으로 재가중한다. 여기서 불일치가 클수록 오류의 가능성이 높으며, 이에 따라 손실 값이 낮아진다. 광범위한 실험을 통해 DMT가 이미지 분류 및 세그멘테이션 작업에서 최신 기준(SOTA) 성능을 달성함을 확인하였다. 본 연구의 코드는 https://github.com/voldemortX/DST-CBC 에 공개되어 있다.