마스크 해제: 분포 외 탐지 능력의 내재적 특성 탐구

분포 외(Distribution-OutOf-Distribution, OOD) 탐지는 실제 환경에서 머신러닝 모델을 도입할 때 안전한 AI를 구현하는 데 필수적인 요소이다. 기존의 접근 방식들은 보다 우수한 점수 함수를 탐색하거나 이상치에 대한 지식을 활용하여 모델이 OOD 탐지 능력을 갖도록 하는 데 초점을 맞추어 왔다. 그러나 이러한 방법들 중 모델 자체가 내재적으로 지닌 OOD 탐지 능력에 대한 주목은 거의 이루어지지 않았다. 본 연구에서는, 분포 내(In-Distribution, ID) 데이터로 훈련된 모델이 다양한 설정에서 최종 단계보다 중간 단계에서 더 높은 OOD 탐지 성능을 보이는 현상을 일반적으로 발견하였으며, 이 현상의 핵심적인 데이터 수준의 원인으로 '비정상 샘플(이상치)을 학습하는 것'을 규명하였다. 이러한 통찰을 바탕으로, ID 데이터를 활용하여 잘 훈련된 모델의 OOD 구분 능력을 회복하는 새로운 방법인 Unleashing Mask를 제안한다. 본 방법은 마스크를 사용하여 모델이 기억한 비정상 샘플을 식별하고, 이를 통해 모델의 미세조정(fine-tuning) 또는 마스크 기반의 구조적 제거(프리닝, pruning)를 수행하여 해당 샘플에 대한 기억을 제거한다. 광범위한 실험과 분석을 통해 제안된 방법의 효과성을 입증하였다. 코드는 다음 링크에서 제공된다: https://github.com/tmlr-group/Unleashing-Mask.