In or Out? ImageNet 외부 분포 탐지 평가 개선

분포 외(In-distribution, ID) 탐지는 ID 작업과 관련 없는 입력을 식별하는 문제이다. 일반적으로 ID가 ImageNet-1K인 경우, 분포 외(OOD) 탐지 성능은 제한된 범위의 OOD 테스트 데이터셋에서 평가된다. 본 연구에서는 현재 널리 사용되는 대부분의 OOD 테스트 데이터셋, 특히 개방 집합 인식(Open Set Recognition, OSR) 문헌에서 제시된 데이터셋들에 심각한 문제를 발견했다. 일부 사례에서는 데이터셋의 50% 이상이 ID 클래스 중 하나에 속하는 객체를 포함하고 있다. 이러한 오류 샘플들은 OOD 탐지기의 평가를 심각하게 왜곡한다. 이를 해결하기 위해, 본 연구에서는 NINCO라는 새로운 OOD 테스트 데이터셋을 제안한다. NINCO의 각 샘플은 ID 클래스에 속하지 않도록 철저히 검증되었으며, 세밀한 OOD 클래스 범위를 제공함으로써 OOD 탐지기의 강점과 실패 모드를 상세히 분석할 수 있도록 한다. 특히, 다양한 합성된 'OOD 유닛 테스트(Unit-tests)'와 결합할 경우 더욱 효과적인 분석이 가능하다. 우리는 NINCO와 유닛 테스트를 기반으로 다양한 아키텍처 및 OOD 탐지 방법에 대해 철저한 평가를 수행하였으며, 모델의 약점과 사전 훈련(pretraining)이 OOD 탐지 성능에 미치는 영향에 대한 새로운 통찰을 제시한다. 코드와 데이터는 https://github.com/j-cb/NINCO 에서 공개한다.