APRIL-GAN: CVPR 2023 VAND 워크숍 챌린지 트랙 1&2를 위한 제로/피셔트 이상 탐지 및 세그멘테이션 방법 – 제로샷 AD에서 1위, 피셔트 샷 AD에서 4위

이 기술 보고서에서는 Visual Anomaly and Novelty Detection (VAND) 2023 챌린지의 제로/프ew샷 트랙을 위한 우리 팀의 솔루션을 간략히 소개한다. 산업용 시각 검사 분야에서, 다양한 제품 유형의 방대한 다양성으로 인해 정상 참조 이미지가 없거나 극소수의 정상 이미지만으로도 수많은 카테고리에 빠르게 적응할 수 있는 단일 모델을 구축하는 것은 매우 유망한 연구 방향이다. 제로샷 트랙의 경우, CLIP 모델을 기반으로 추가적인 선형 계층을 도입한 솔루션을 제안한다. 이 계층들은 이미지 특징을 공동 임베딩 공간으로 매핑하여, 텍스트 특징과 비교함으로써 이상 탐지 맵을 생성할 수 있도록 한다. 또한 참조 이미지가 제공되는 프ew샷 트랙에서는 테스트 단계에서 테스트 이미지의 특징과 비교하기 위해 여러 메모리 벙크를 활용하여 참조 이미지의 특징을 저장한다. 본 챌린지에서 우리 방법은 제로샷 트랙에서 1위를 차지하였으며, 특히 세분화 성능에서 두 번째로 높은 점수를 기록한 참가자 대비 F1 스코어가 0.0489 증가하여 뛰어난 성과를 거두었다. 더불어 프ew샷 트랙에서는 종합적으로 4위를 기록하였으며, 분류 F1 스코어 0.8687로 모든 참가 팀 중에서 최고 성적을 달성하였다.