분포 이동에 대한 강건성에 대한 효과적인 베이스라인

학습 과정에서 접한 입력 유형과 다른 유형의 입력에 직면했을 때 자신감 있게 예측을 하지 않는 것은 딥러닝 시스템의 안전한 배포를 위한 중요한 요구사항이다. 이는 말하기는 간단하지만, 딥러닝 분야에서는 특히 도전적인 문제였다. 모델이 이러한 상황에서 과도하게 자신감 있는 예측을 내리는 경향이 있기 때문이다. 본 연구에서는 ‘회피(abstention)’ 원리를 활용하는 간단하면서도 매우 효과적인 OoD(분포 외) 탐지 방식을 제안한다. 즉, 미처 경험하지 못한 클래스의 샘플을 만나면 예측을 하지 않는 것이 바람직한 행동이다. 본 방법은 추가적인 ‘회피 클래스’를 갖춘 네트워크를 사용하며, 학습 데이터셋에 분포 외(OoD) 샘플이 대량 포함된 비정제된 데이터 세트를 추가하여, 해당 샘플들에 회피 클래스 레이블을 할당한다. 이후 모델은 내부 분포(In-distribution)와 분포 외 샘플 간의 효과적인 구분을 학습하도록 훈련된다. 본 연구에서는 이 상대적으로 단순한 접근법을 OoD 탐지 및 딥러닝 내 불확실성 모델링을 위한 다양한 복잡한 기법들과 비교하였으며, 이미지 인식 및 텍스트 분류를 위한 다양한 벤치마크와 딥 아키텍처에서 실증적으로 그 효과성을 입증하였다. 특히 기존 방법들에 비해 상당한 성능 향상을 보였다. 본 방법의 단순성과 뛰어난 성능을 고려할 때, 향후 관련 분야의 연구에 이 방법을 새로운 보편적 기준(baseline)으로 도입할 것을 제안한다.