AdaCLIP: 영역 독립적 이상 탐지 위한 하이브리드 가변 프롬프트를 활용한 CLIP 적응

제로샷 이상 탐지(Zero-shot anomaly detection, ZSAD)는 임의의 새로운 카테고리의 이미지에서 이상을 식별하는 것을 목표로 한다. 본 연구는 사전 학습된 시각-언어 모델(Vision-Language Model, VLM)인 CLIP을 활용하여 ZSAD 작업을 수행하는 AdaCLIP을 제안한다. AdaCLIP은 CLIP에 학습 가능한 프롬프트를 도입하고, 보조적인 레이블이 부여된 이상 탐지 데이터를 이용하여 이를 최적화한다. 본 연구에서는 정적(static)과 동적(dynamic) 두 가지 유형의 학습 가능한 프롬프트를 제안한다. 정적 프롬프트는 모든 이미지에 공유되며, CLIP의 초기 적응을 통해 ZSAD 작업에 적합하게 조정하는 역할을 한다. 반면 동적 프롬프트는 각 테스트 이미지마다 생성되며, CLIP에 동적 적응 능력을 부여한다. 정적 프롬프트와 동적 프롬프트의 결합은 하이브리드 프롬프트(hybrid prompts)라 불리며, 이는 향상된 ZSAD 성능을 제공한다. 산업 및 의료 분야의 14개 실제 이상 탐지 데이터셋에서 실시한 광범위한 실험 결과, AdaCLIP은 기존의 다른 ZSAD 방법들을 모두 능가하며, 다양한 카테고리뿐 아니라 다른 도메인에 대해서도 더 우수한 일반화 성능을 보였다. 마지막으로, 본 연구의 분석을 통해 다양한 보조 데이터와 최적화된 프롬프트가 일반화 능력을 향상시키는 데 있어 중요함을 강조한다. 코드는 다음 주소에서 확인할 수 있다: https://github.com/caoyunkang/AdaCLIP.