17일 전

이상 탐지를 위한 이중 모델 지식 증류 탐구

{Snoussi Hichem, Thomine Simon}
초록

비지도 이상 탐지(unsupervised anomaly detection)는 대규모 산업 제조 분야에서 매우 중요한 역할을 한다. 최근의 많은 연구들은 자연 이미지에 미리 훈련된 분류기(classifier)를 활용하여 특정 레이어에서 대표적인 특징(feature)을 추출하는 장점을 활용하고 있다. 이러한 추출된 특징들은 이후 다양한 기법을 통해 처리된다. 특히 메모리 백(Memory bank)-기반 방법은 높은 정확도를 보여주었으나, 일반적으로 지연(latency) 측면에서 성능과의 트레이드오프를 수반한다. 이러한 지연 트레이드오프는 이상 탐지 및 응답이 즉각적으로 이루어져야 하는 실시간 산업 응용 환경에서 큰 도전 과제가 된다. 실제로 지식 증류(knowledge distillation)와 정규화 흐름(normalized flow)과 같은 대안적 접근법들은 낮은 지연을 유지하면서도 비지도 이상 탐지에서 유망한 성능을 보여주었다. 본 논문에서는 비지도 이상 탐지 맥락에서 지식 증류 개념을 재검토하고, 특징 선택(feature selection)의 중요성을 강조하고자 한다. 독특한 특징을 활용하고 서로 다른 모델을 통합함으로써, 이상 탐지라는 특정 작업에 특화된 관련 특징을 신중하게 선택하고 활용하는 것이 얼마나 중요한지를 부각시키고자 한다. 본 논문은 이와 같은 관점을 바탕으로 이중 모델 지식 증류(dual model knowledge distillation) 기반의 새로운 이상 탐지 방법을 제안한다. 제안된 방법은 깊은(dense) 및 얕은(shallow) 레이어를 동시에 활용하여 다양한 수준의 의미 정보(sematic information)를 통합함으로써 보다 풍부한 특징 표현을 가능하게 한다.

이상 탐지를 위한 이중 모델 지식 증류 탐구 | 최신 연구 논문 | HyperAI초신경