11일 전

ViM: 분포 외 데이터에 대한 가상 로짓 매칭

Haoqi Wang, Zhizhong Li, Litong Feng, Wayne Zhang
ViM: 분포 외 데이터에 대한 가상 로짓 매칭
초록

기존의 이상치 탐지(Out-of-Distribution, OOD) 알고리즘 대부분은 단일 입력 소스—특징(feature), 로짓(logit), 또는 소프트맥스 확률—에 의존한다. 그러나 OOD 예시의 막대한 다양성으로 인해 이러한 방법들은 취약하다. 일부 OOD 샘플은 특징 공간에서는 쉽게 식별 가능하지만 로짓 공간에서는 구분하기 어려우며, 반대로 로짓 공간에서는 쉽게 구분되지만 특징 공간에서는 어려운 경우도 존재한다. 이러한 관찰에 기반하여, 우리는 특징 공간의 클래스 무관 스코어(class-agnostic score)와 내부 분포(In-Distribution, ID) 클래스에 의존하는 로짓을 결합하는 새로운 OOD 스코어링 방법인 가상 로짓 매칭(Virtual-logit Matching, ViM)을 제안한다. 구체적으로, 특징 벡터와 주성분 공간(principal space) 간의 잔차로부터 가상의 OOD 클래스를 나타내는 추가적인 로짓을 생성하고, 이를 상수 스케일링을 통해 원래 로짓과 매칭한다. 이후 소프트맥스를 적용한 이 가상 로짓의 확률이 OOD 여부를 나타내는 지표가 된다. 학계에서 대규모 OOD 탐지 평가를 촉진하기 위해, 우리는 ImageNet-1K를 위한 새로운 OOD 데이터셋을 구축하였으며, 이는 인간 주석(annotation)이 달린 데이터로 기존 데이터셋보다 8.8배 크다. CNN과 비전 트랜스포머(Vision Transformers)를 포함한 광범위한 실험을 통해 제안하는 ViM 스코어의 효과성을 입증하였다. 특히 BiT-S 모델을 사용한 결과, 네 가지 어려운 OOD 벤치마크에서 평균 AUROC가 90.91%를 기록하며, 최고 성능 기준선보다 4% 우수한 성능을 달성하였다. 코드와 데이터셋은 https://github.com/haoqiwang/vim 에서 공개되어 있다.

ViM: 분포 외 데이터에 대한 가상 로짓 매칭 | 최신 연구 논문 | HyperAI초신경