13일 전

일반 임베딩에서의 역 역설통을 통한 이상 탐지

Hanqiu Deng, Xingyu Li
일반 임베딩에서의 역 역설통을 통한 이상 탐지
초록

지식 증류(Knowledge Distillation, KD)는 비지도 이상 탐지(Anomaly Detection, AD)라는 도전적인 문제에서 희망적인 성과를 거두고 있다. 교사-학생(Teacher-Student, T-S) 모델 내에서 이상 패턴의 표현 불일치는 AD에 있어 핵심적인 증거를 제공한다. 그러나 기존 연구에서는 교사 및 학생 모델에 유사하거나 동일한 아키텍처를 사용함으로써 이상 표현의 다양성이 제한되는 문제가 있었다. 이 문제를 해결하기 위해, 본 연구는 교사 인코더와 학생 디코더로 구성된 새로운 T-S 모델을 제안하고, 이를 기반으로 간단하면서도 효과적인 '역방향 증류(reverse distillation)' 패러다임을 도입한다. 기존의 방식과 달리, 학생 네트워크는 원시 이미지를 직접 입력받는 대신, 교사 모델의 일종의 임베딩(one-class embedding)을 입력으로 받아 교사 모델의 다중 해상도 표현을 복원하는 것을 목표로 한다. 본 연구에서의 지식 증류는 추상적이고 고수준의 표현에서부터 저수준 특징으로 진행되는 본질적인 특성을 지닌다. 더불어, T-S 모델 내에 학습 가능한 일종의 블록킹 임베딩(One-Class Bottleneck Embedding, OCBE) 모듈을 도입하여, 정상 패턴에 대한 핵심 정보를 효과적으로 보존하면서 이상 패턴의 변동성은 제거한다. AD 및 일종의 신규성 탐지(one-class novelty detection) 벤치마크에서 실시한 광범위한 실험 결과, 제안한 방법은 기존 최고 성능(SOTA)을 초월함으로써 본 연구의 접근 방식이 효과적이고 일반화 가능함을 입증한다.