초록
분포 외(out-of-distribution, OOD) 데이터 탐지는 머신러닝 모델을 실제 환경에서 안전하게 배포하기 위한 핵심 요소로 부상하고 있다. 기존의 OOD 탐지 기법은 주로 출력 공간 또는 특징 공간을 활용하여 OOD 점수를 도출하는 데 집중하고 있으며, 그라디언트 공간에서의 정보는 거의 간과해왔다. 본 논문에서는 그라디언트 공간에서 추출한 정보를 활용하여 OOD 입력을 탐지하는 간단하고 효과적인 방법인 GradNorm을 제안한다. GradNorm은 소프트맥스 출력과 균일 확률 분포 간의 Kullback-Leibler(KL) 발산에서 역전파된 그라디언트의 벡터 노름을 직접 사용한다. 본 연구의 핵심 아이디어는 분포 내(in-distribution, ID) 데이터에 대해 그라디언트 크기가 분포 외(OOD) 데이터보다 더 크다는 점이며, 이는 OOD 탐지에 유용한 정보를 제공한다. GradNorm은 기존 최고 성능 기법 대비 평균 FPR95를 최대 16.33%까지 감소시키며 우수한 성능을 보였다.