초록
현대적인 딥러닝 시스템이 샘플이 자신의 지식 영역 내에 속하는지 여부를 판단할 수 있는 능력은 핵심적이고 중요한 요소이다. 본 논문에서는 최근 최첨단의 분포 외(out-of-distribution, OOD) 탐지 기법인 매우 간단한 활성화 형상 조절(Activation Shaping, ASH)에 대한 통찰과 분석을 제시한다. 우리는 활성화 가지치기(activation pruning)가 OOD 탐지 성능에 부정적인 영향을 미친다는 것을 입증하였으며, 반면 활성화 스케일링(activation scaling)은 OOD 탐지 성능을 향상시킨다는 점을 확인하였다. 더불어, 내부 분포(in-distribution, ID) 정확도에 영향을 주지 않으면서 최첨단의 OOD 탐지 성능을 달성하는 간단하면서도 효과적인 후처리 네트워크 개선 방법인 SCALE을 제안한다. 또한, 샘플의 ID 특성을 학습 과정에서 포착하기 위해 스케일링 개념을 통합함으로써, 학습 시간 동안 OOD 탐지 성능을 향상시키는 경량화된 방법인 중간 텐서 형상 조절(Middle Tensor Shaping, ISH)을 제안한다. OpenOOD v1.5 ImageNet-1K 벤치마크에서 근접한 OOD 데이터셋에서는 AUROC 점수를 +1.85%, 원거리 OOD 데이터셋에서는 +0.74% 향상시켰다. 본 연구의 코드와 모델은 https://github.com/kai422/SCALE에서 공개되어 있다.