17일 전

이중 모델링 분리 증류를 통한 비지도 이상 탐지

Xinyue Liu, Jianyuan Wang, Biao Leng, Shuo Zhang
이중 모델링 분리 증류를 통한 비지도 이상 탐지
초록

학생-교사 네트워크 기반의 지식 증류는 비지도 이상 탐지(unsupervised anomaly detection) 과제에서 주요 해결 방식 중 하나로, 교사 및 학생 네트워크 간의 표현 능력 차이를 활용하여 이상 위치를 정확히 탐지하는 데 기여한다. 그러나 학생 네트워크가 교사 네트워크에 지나치게 일반화될 경우, 이상 영역에 대한 표현 능력 차이가 미미해져 탐지 성능에 악영향을 미칠 수 있다. 기존의 방법들은 구조적 관점에서 다양한 학생-교사 네트워크를 사용하거나, 내용적 관점에서 증류된 정보를 명시적으로 확장함으로써 과도한 일반화를 방지하려 하지만, 이는 학생 네트워크의 과소적합(underfitting) 가능성을 높이고 이상 중심 또는 경계 영역에서의 이상 탐지 성능 저하를 초래하는 부작용을 동반한다. 본 논문에서는 비지도 이상 탐지를 위한 이중 모델링 분리 증류(Dual-Modeling Decouple Distillation, DMDD)를 제안한다. DMDD는 초기 학생 특징을 정상성(normality)과 비정상성(abnormality) 특징으로 분리하는 분리형 학생-교사 네트워크를 도입한다. 또한, 정상-비정상 이미지 쌍을 기반으로 한 이중 모델링 증류를 제안하여, 비정상 이미지의 정상성 특징과 해당 정상 이미지의 교사 특징을 각각 적합시키고, 비정상 영역 내에서 비정상 특징과 교사 특징 간의 거리를 확대한다. 이러한 두 가지 증류 전략을 통합함으로써, 이상 영역의 중심과 경계를 동시에 강조하는 이상 탐지 성능을 달성한다. 마지막으로, 다중 주의(multi-perception) 기반의 집중형 이상 맵 융합을 위한 다중 인지 세그멘테이션 네트워크를 제안한다. MVTec AD 데이터셋에서의 실험 결과, DMDD는 기존 지식 증류 기반 방법들보다 최첨단(SOTA) 이상 위치 탐지 성능을 초과하여, 픽셀 단위 AUC에서 98.85%, PRO(Per-Region Overlap)에서 96.13%의 성능을 달성하였다.

이중 모델링 분리 증류를 통한 비지도 이상 탐지 | 최신 연구 논문 | HyperAI초신경