Forte: 표현 일반성 추정을 통한 이상치 탐지

생성 모델은 이제 학습에 사용된 실제 데이터와 거의 구별할 수 없는 사진 수준의 합성 데이터를 생성할 수 있게 되었다. 이는 이전 모델들이 학습 데이터에 대한 합리적인 복제물을 생성할 수는 있었지만, 인간 평가를 통해 실제 데이터와 시각적으로 구분될 수 있었던 것과 비교해 큰 진보이다. 최근의 이상치 탐지(OOD detection) 연구는 생성 모델의 가능도(likelihood)가 이상치 탐지에 최적이라는 주장에 의문을 제기하고 있다. 이는 가능도 오추정 문제, 생성 과정에서의 엔트로피, 그리고 전형성(typicality)과 관련된 문제들 때문이다. 우리는 생성 기반 OOD 탐지기가 실패한 이유가 모델이 데이터의 픽셀에만 초점을 맞추고 의미론적 내용을 고려하지 않았기 때문이라고 추측한다. 이로 인해 픽셀은 유사하지만 정보량이 크게 다른 근접 이상치(near-OOD) 케이스에서는 탐지에 실패하게 된다. 우리는 자기지도 학습자(self-supervised learners)를 이용해 전형 집합(typical sets)을 추정하는 것이 더 나은 OOD 탐지 성능을 가져올 것이라고 가정한다. 본 연구에서는 표현 학습(representation learning)과 다양체 추정(manifold estimation) 기반의 정보량 풍부한 요약 통계량을 활용하는 새로운 접근법을 제안한다. 이 방법은 앞서 언급된 모든 문제를 해결할 수 있으며, 다른 비지도 학습 접근법보다 우수한 성능을 보이며, 잘 알려진 도전적인 벤치마크와 새로운 합성 데이터 탐지 과제에서 최신 기술(SOTA) 수준의 성능을 달성한다.