11日前
APRIL-GAN:CVPR 2023 VANDワークショップチャレンジ トラック1および2におけるゼロショット・フェイショット異常分類およびセグメンテーション手法:ゼロショットADで1位、フェイショットADで4位
Xuhai Chen, Yue Han, Jiangning Zhang

要約
本技術報告では、Visual Anomaly and Novelty Detection (VAND) 2023 Challenge のゼロショット/フェイショットトラックに対する当研究チームの解決策を簡潔に紹介する。産業用視覚検査において、多数のカテゴリに対して、正常画像の参照データが全くないあるいは僅かにしか用意されていない状況下で、迅速に適応可能な単一モデルの構築は、製品種類の多様性を鑑み、有望な研究方向性である。ゼロショットトラックでは、CLIPモデルを基盤とし、追加の線形層を導入した手法を提案する。これらの線形層は、画像特徴を共同埋め込み空間(joint embedding space)にマッピングする目的で用いられ、テキスト特徴と比較することで異常マップを生成する。一方、正常画像の参照データが利用可能なフェイショットトラックでは、複数のメモリバンクを用いて参照画像の特徴を保持し、テストフェーズにおいてテスト画像の特徴と比較することで異常検出を行う。本コンテストにおいて、当手法はゼロショットトラックで1位を獲得し、特にセグメンテーション性能において、2位チームと比較してF1スコアで0.0489の顕著な向上を達成した。また、フェイショットトラックでは全体で4位を獲得し、分類性能のF1スコア(0.8687)は参加チーム中で最高であった。