11일 전

단일 레이어 예측형 정규화 최대 우도를 통한 분포 외 탐지

Koby Bibas, Meir Feder, Tal Hassner
단일 레이어 예측형 정규화 최대 우도를 통한 분포 외 탐지
초록

분류되지 않은(Out-of-Distribution, OOD) 샘플을 탐지하는 것은 비상 안전 시스템에 기반한 머신러닝 기반 모델을 개발하는 데 있어 핵심적인 과제이다. 기존의 OOD 탐지 접근법은 훈련 과정에서 일부 OOD 샘플에 접근할 수 있다고 가정하지만, 현실 세계에서는 이러한 샘플이 확보되지 않을 수 있다. 본 연구에서는 테스트 입력에 대한 어떤 가정도 하지 않는 {\em 예측 가능한 정규화 최대 가능도}(predictive normalized maximum likelihood, pNML) 학습기를 활용한다. 우리는 단일층 신경망(single layer neural network, NN)에 대해 pNML의 명시적 표현과 일반화 오차, 즉 {\em 회한(regret)}을 도출한다. 본 연구에서는 다음 두 조건 중 하나가 성립할 경우 이 학습기가 우수한 일반화 성능을 보임을 보여준다: (i) 테스트 벡터가 훈련 데이터의 경험적 상관행렬의 큰 고유값에 대응하는 고유벡터들로 생성된 부분공간에 존재할 때, 또는 (ii) 테스트 샘플이 결정 경계로부터 멀리 떨어져 있을 때이다. 또한, 마지막 층에 대해 명시적인 pNML을 적용한 후 소프트맥스 함수를 사용함으로써, 사전 훈련된 깊은 신경망(deep NN)에 대해 유도된 pNML 회한을 효율적으로 적용하는 방법을 제시한다. 이 방법은 추가적인 조정 가능한 파라미터나 별도의 데이터 없이도 깊은 신경망에 적용 가능하다. CIFAR-100, CIFAR-10, SVHN, ImageNet-30 데이터셋을 기반으로 DenseNet-100, ResNet-34, WideResNet-40 모델을 훈련한 후, 총 74개의 OOD 탐지 벤치마크에서 본 방법을 광범위하게 평가한 결과, 최근 최고 성능을 기록한 기법들에 비해 최대 15.6%의 성능 향상이 나타났다.

단일 레이어 예측형 정규화 최대 우도를 통한 분포 외 탐지 | 최신 연구 논문 | HyperAI초신경