초록
일관성 정규화는 레이블이 거의 없는 데이터로 분류 작업에서 강력한 성과를 내는 데 기여하는 반감독 학습 기법이다. 이 기법은 레이블이 없는 데이터에 대한 변형에 대해 학습된 모델이 강건하도록 유도하는 방식으로 작동한다. 본 연구에서는 반감독 학습의 일관성 정규화를 위한 새로운 마스크 기반 증강 기법인 CowMask을 제안한다. 이 기법을 활용해 레이블이 10%인 ImageNet 데이터셋에서 최신 기술 수준의 성과를 달성하였으며, 상위 5개 예측 오류율은 8.76%, 상위 1개 예측 오류율은 26.06%를 기록했다. 더불어, 기존의 많은 대안들에 비해 훨씬 간단한 방법을 사용하여 이 성과를 달성하였다. 또한, SVHN, CIFAR-10, CIFAR-100 데이터셋을 대상으로 다양한 규모의 실험을 수행하여 CowMask의 반감독 학습에서의 행동 특성을 탐구하였으며, 그 결과 최신 기술 수준과 경쟁 가능한 성능을 보였다. 이는 CowMask가 넓은 범위의 문제에 적용 가능함을 시사한다. 본 연구의 코드는 https://github.com/google-research/google-research/tree/master/milking_cowmask 에서 오픈소스로 공개된다.