뉴런 활성도 커버리지: 분포 외 탐지 및 일반화에 대한 재고

분포 외(out-of-distribution, OOD) 문제는 신경망이 학습 데이터 분포(in-distribution, InD)와 크게 벗어난 데이터를 접할 때 일반적으로 발생한다. 본 논문에서는 뉴런 활성화 관점에서 OOD 문제를 탐구한다. 먼저, 뉴런의 출력과 모델 결정에 미치는 영향을 동시에 고려하여 뉴런 활성화 상태를 수학적으로 정의한다. 이후, 뉴런과 OOD 문제 간의 관계를 설명하기 위해, InD 데이터 하에서 뉴런 행동을 간단히 측정할 수 있는 지표인 \textit{뉴런 활성화 커버리지}(Neuron Activation Coverage, NAC)를 제안한다. 제안한 NAC를 활용하여, 다음과 같은 결과를 도출한다. 1) InD와 OOD 입력은 뉴런의 행동 차이를 기반으로 크게 구분될 수 있으며, 이는 OOD 탐지 문제를 크게 완화시키고, CIFAR-10, CIFAR-100, ImageNet-1K 세 가지 벤치마크에서 기존 21개의 방법들을 모두 능가함을 보여준다. 2) 다양한 아키텍처와 데이터셋을 통틀어 NAC와 모델의 일반화 능력 사이에는 일관된 정적 상관관계가 존재하며, 이는 모델의 강건성 평가를 위한 NAC 기반 기준을 가능하게 한다. 기존의 일반적인 InD 검증 기준과 비교하여, NAC가 더 강건한 모델을 선택할 뿐만 아니라 OOD 테스트 성능과의 상관관계도 더 강하다는 점을 입증한다.