GEN: 소프트맥스 기반 이상 탐지의 한계를 넘어서기

분포 외(Out-of-distribution, OOD) 탐지는 특히 안전이 중요한 응용 분야에서 신경망을 성공적으로 도입하기 위해 광범위하게 연구되어 왔다. 또한 대규모 데이터셋에서 OOD 탐지를 수행하는 것은 현실적인 접근이지만, 동시에 더 큰 도전 과제를 수반한다. 기존의 여러 방법들은 점수 설계를 위해 훈련 데이터에 접근하거나, 훈련 과정에서 이상치(outlier)에 노출되어야 하는 경우가 많다. 일부 후처리(post-hoc) 방법은 이러한 제약을 회피할 수는 있으나, 경쟁력이 떨어지는 경우가 많다. 본 연구에서는 어떤 사전 훈련된 소프트맥스 기반 분류기에도 적용 가능한 간단하면서도 효과적인 엔트로피 기반 점수 함수인 Generalized ENtropy score (GEN)을 제안한다. 이 방법은 대규모 ImageNet-1k OOD 탐지 벤치마크에서 성능을 입증하였으며, 여러 최신 후처리 방법과 비교하여, 일반적으로 사용되는 CNN 기반 및 시각적 트랜스포머(visual transformer) 분류기 6종에 대해 평균 AUROC를 지속적으로 향상시켰다. 평균 AUROC 향상률은 최소 3.5% 이상이다. 더불어, GEN을 특징 기반 강화 기법과 훈련 통계를 활용하는 방법에 추가 적용함으로써, OOD 탐지 성능을 더욱 개선하였다. 코드는 다음 링크에서 제공된다: https://github.com/XixiLiu95/GEN.