분포 외 탐지를 위한 극도로 간단한 활성화 형상 조절

머신러닝 모델의 훈련과 배포 간의 분리는 배포 시 발생할 수 있는 모든 시나리오를 훈련 단계에서 미리 예측할 수 없음을 의미하며, 따라서 훈련 기술의 발전에만 의존하는 것은 한계가 있다. 분포 외(OOD, out-of-distribution) 탐지 는 모델이 미지의 상황을 어떻게 처리할 수 있는지를 시험하는 중요한 분야이다. 즉, 모델이 자신이 모른다는 것을 인지할 수 있는가? 기존의 OOD 탐지 방법들은 추가적인 훈련 단계, 보조 데이터, 또는 훈련된 네트워크에 상당한 수정을 요구한다. 반면 본 연구에서는 매우 간단하고, 훈련 후(post-hoc), 실시간(inference 시점)에 적용 가능한 활성화 형태 조절 기법 ASH(Activation Shaping at Inference)을 제안한다. 이 방법은 깊은 층에서 입력 샘플의 활성화 값 중 대다수(예: 90%)를 제거하고, 나머지 소수(예: 10%)는 단순화하거나 경미하게 조정한다. 이 형태 조절은 추론 시점에서 수행되며, 훈련 데이터로부터 계산된 통계치가 필요하지 않다. 실험 결과, 이러한 단순한 처리가 내분포(in-distribution)와 분포 외 데이터 간의 구분 능력을 크게 향상시켜 ImageNet에서 최신 기술 수준의 OOD 탐지 성능을 달성할 수 있으며, 내분포 정확도에는 눈에 띄는 손실이 발생하지 않는다. 동영상, 애니메이션 및 코드는 다음 링크에서 확인할 수 있다: https://andrijazz.github.io/ash