2달 전

역증류를 이용한 이상 탐지의 잠재력 해제

Xinyue Liu; Jianyuan Wang; Biao Leng; Shuo Zhang
역증류를 이용한 이상 탐지의 잠재력 해제
초록

지식 증류(Knowledge Distillation, KD)는 비지도 이상 탐지(Anomaly Detection, AD)에 있어 유망한 접근 방식입니다. 그러나 학생 네트워크의 과도한 일반화는 종종 이상 영역에서 교사와 학생 사이의 중요한 표현 차이를 감소시키고, 이로 인해 탐지 실패가 발생합니다. 이러한 문제를 해결하기 위해, 널리 인정받은 역 증류(Reverse Distillation, RD) 패러다임은 교사와 학생을 비대칭적으로 설계하여 인코더를 교사로, 디코더를 학생으로 사용합니다. 하지만 RD 설계는 교사 인코더가 정상과 비정상 특성을 효과적으로 구분하거나 학생 디코더가 비이상적인 특성을 생성하지 않는 것을 보장하지 않습니다. 또한 스킵 연결의 부재는 특성 재구성 중 세부 정보의 손실을 초래합니다. 이러한 문제들을 해결하기 위해, 우리는 전문가를 도입한 RD(RD with Expert)를 제안합니다. 이 방법은 교사 인코더와 학생 디코더의 동시 증류를 위한 새로운 전문가-교사-학생 네트워크를 소개합니다. 추가된 전문가 네트워크는 학생의 정상 특성 생성 능력을 향상시키고, 교사의 정상과 비정상 특성 간 구분력을 최적화하여 놓친 탐지를 줄입니다. 또한 지도 정보 주입(Guided Information Injection) 기법은 교사에서 학생으로 특성을 필터링하고 전송하여 세부 정보 재구성을 개선하고 가짜 양성(false positives)을 최소화합니다. 여러 벤치마크에서 수행된 실험들은 우리의 방법이 RD 패러다임 하에서 기존의 비지도 AD 방법들보다 우수함을 입증하며, RD의 잠재력을 완전히 활용할 수 있음을 보여줍니다.