2달 전

SequenceMatch: 반감독 학습을 위한 약-강 증강 설계의 재검토

Khanh-Binh Nguyen
SequenceMatch: 반감독 학습을 위한 약-강 증강 설계의 재검토
초록

반지도 학습(SSL)은 최근 몇 년 동안 대량의 라벨이 없는 데이터를 사용하여 모델을 훈련시킬 수 있다는 점에서 인기를 얻고 있습니다. 그러나 많은 SSL 방법들이 직면한 문제 중 하나는 확인 편향입니다. 이는 모델이 작은 라벨된 훈련 데이터셋에 과적합되어 과도하게 자신감 넘치고 잘못된 예측을 생성할 때 발생합니다. 이러한 문제를 해결하기 위해, 우리는 다중 데이터 증강을 활용하는 효율적인 SSL 방법인 SequenceMatch를 제안합니다. SequenceMatch의 핵심 요소는 라벨이 없는 데이터에 대한 중간 강도의 증강을 포함하는 것입니다. 서로 다른 증강과 각 증강 예제 간의 일관성 제약 조건을 활용함으로써, SequenceMatch는 약한 증강 예제와 강한 증강 예제의 예측 분포 사이의 차이를 줄이는 데 도움을 줍니다. 또한, SequenceMatch는 고신뢰도 및 저신뢰도 예측에 대해 두 가지 다른 일관성 제약 조건을 정의합니다. 그 결과, SequenceMatch는 ReMixMatch보다 더 데이터 효율적이며, ReMixMatch($\times4$)와 CoMatch($\times2$)보다 시간 효율성이 높으면서도 더 높은 정확성을 유지합니다. 단순함에도 불구하고, SequenceMatch는 CIFAR-10/100, SVHN, STL-10 등의 표준 벤치마크에서 기존 방법들을 꾸준히 능가하며, ImageNet과 같은 대규모 데이터셋에서도 기존 최신 방법들보다 크게 우수한 성능을 보여주어 38.46%의 오류율을 달성했습니다. 코드는 https://github.com/beandkay/SequenceMatch에서 제공됩니다.

SequenceMatch: 반감독 학습을 위한 약-강 증강 설계의 재검토 | 최신 연구 논문 | HyperAI초신경