클래스-아웃오브-디스트리뷰션 탐지의 벤치마킹을 위한 프레임워크 및 ImageNet에 대한 적용

위험 민감한 작업에 적용될 때, 심층 신경망은 학습된 분포 외의 레이블을 가진 인스턴스를 탐지할 수 있어야 한다. 본 논문에서는 이미지 분류기가 학습 분포에 포함되지 않은 클래스의 인스턴스(즉, 진짜 레이블이 학습 분포에 존재하지 않는 인스턴스)를 탐지할 수 있는 능력을 다양한 탐지 난이도 수준에서 평가할 수 있도록 하는 새로운 프레임워크를 제안한다. 우리는 이 기법을 ImageNet에 적용하여, 공개된 525개의 ImageNet-1k 사전 학습된 분류기들을 평가하였다. 어떤 ImageNet-1k 분류기에도 적용 가능한 벤치마킹 생성 코드와 위 525개 모델에 대해 준비된 벤치마킹 결과는 https://github.com/mdabbah/COOD_benchmarking 에서 확인할 수 있다.이 프레임워크의 유용성과 기존 대안 벤치마크들에 비한 장점은 해당 모델들을 평가하여 얻은 결과를 분석함으로써 입증된다. 분석 결과, 다음과 같은 새로운 관찰 결과들이 도출되었다: (1) 지식 증류(Knowledge Distillation)는 일관되게 클래스 외 분포(C-OOD) 탐지 성능을 향상시킨다; (2) 일부 ViT(Vision Transformer) 모델이 다른 어떤 모델보다 더 우수한 C-OOD 탐지 성능을 보인다; (3) 언어-비전 기반 CLIP 모델은 우수한 제로샷 탐지 성능을 달성하며, 그 중 최고 성능을 보인 인스턴스는 평가된 모든 모델의 96%를 상회한다; (4) 정확도와 내부 분포 순위(Ranking)는 C-OOD 탐지 성능과 정적 상관관계를 보인다; (5) 다양한 신뢰도 함수(Confidence Functions)를 C-OOD 탐지에 적용하여 비교하였다. 본 논문의 보조 논문(2023년 ICLR에 게재된 “What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers”)에서는 이들 분류기들이 내부 분포 설정에서의 불확실성 추정 성능(순위, 교정성, 선택적 예측 성능)을 분석한다.