분산된 분포에 대한 강건성을 시각-언어 기반 모델로부터 정제하기

지식 증류와 데이터 증강의 조합을 통해 시각 모델의 견고성을 향상시키기 위한 개념적으로 간단하고 경량화된 프레임워크를 제안한다. 우리는 더 큰 모델이 더 나은 교사 모델이 되지 않는다는 가설을 검증하며, 사전 학습된 기초 모델(기반 모델)에서 증류할 때 분포 외(out-of-distribution) 견고성에서 뚜렷한 향상을 입증한다. 이러한 발견을 바탕으로, 강건한 교사 모델이 적대적 예시를 생성하고 VQGAN을 활용해 이를 이산화하는 방식을 채택한 '이산 적대적 증류(Discrete Adversarial Distillation, DAD)'를 제안한다. 이는 기존의 데이터 증강 기법보다 더 정보가 �-rich한 샘플을 생성한다. 또한, 데이터 증강과 함께 지식 증류를 수행할 때 강건한 교사 모델을 사용하는 데 대한 이론적 틀을 제시하며, 다양한 학습자 아키텍처에서 분포 외 견고성과 정상 정확도 모두에서 뚜렷한 성능 향상을 입증한다. 특히 본 방법은 유사 기법에 비해 미미한 계산 부담만을 추가하며, 다른 데이터 증강 기법과 쉽게 결합하여 추가적인 성능 향상을 이룰 수 있다.