17일 전

마스킹과 감독의 만남: 강력한 학습 협력

Byeongho Heo, Taekyung Kim, Sangdoo Yun, Dongyoon Han
마스킹과 감독의 만남: 강력한 학습 협력
초록

랜덤 마스킹 입력을 활용한 사전 훈련은 자기지도 학습 훈련 분야에서 새로운 트렌드로 부상하고 있다. 그러나 감독 학습은 훈련의 불안정성으로 인해 마스킹 증강 기법의 도입에 여전히 어려움을 겪고 있다. 본 논문에서는 마스킹 증강 기법을 효과적으로 도입할 수 있는 새로운 방법인 Masked Sub-branch(MaskSub)를 제안한다. MaskSub는 메인 브랜치와 서브 브랜치로 구성되며, 서브 브랜치는 메인 브랜치의 일부로 구성된다. 메인 브랜치는 전통적인 훈련 방식을 따르는 반면, 서브 브랜치는 훈련 중에 강도 높은 마스킹 증강을 적용한다. MaskSub는 자기-디스틸레이션(loss)과 유사한 완화된 손실 함수를 통해 부정적인 영향을 완화함으로써 이 문제를 해결한다. 분석 결과, MaskSub는 표준 훈련보다 훈련 손실이 더 빠르게 수렴함을 확인하였으며, 이는 본 방법이 훈련 과정을 안정화시킨다는 것을 시사한다. 또한, DeiT-III 훈련, MAE 미세조정, CLIP 미세조정, BERT 훈련, 그리고 계층적 아키텍처(ResNet 및 Swin Transformer)를 포함한 다양한 훈련 환경과 모델에서 MaskSub의 성능을 검증하였다. 실험 결과, 모든 경우에서 MaskSub가 일관되게 뛰어난 성능 향상을 보였다. MaskSub는 다양한 훈련 방식에서 추가적인 정규화를 도입하는 실용적이고 효과적인 솔루션을 제공한다. 코드는 https://github.com/naver-ai/augsub 에서 확인할 수 있다.

마스킹과 감독의 만남: 강력한 학습 협력 | 최신 연구 논문 | HyperAI초신경