Command Palette
Search for a command to run...
unseen の合成によるゼロショット物体検出
unseen の合成によるゼロショット物体検出
Nasir Hayat Munawar Hayat Shafin Rahman Salman Khan Syed Waqas Zamir Fahad Shahbaz Khan
概要
既存のゼロショット検出アプローチは、可視化された特徴を既知のオブジェクトに対して意味論的な領域に射影し、推論時に未知のオブジェクトをそれに対応する意味論にマッピングすることを目指しています。しかし、未知のオブジェクトが訓練中に一度も可視化されないため、検出モデルは既知のコンテンツに向かって偏りがちであり、その結果、未知のオブジェクトは背景または既知のクラスとしてラベリングされる傾向があります。本研究では、未知クラスの可視化された特徴を合成することで、モデルが可視化された領域で既知と未知の両方のオブジェクトを学習できるように提案します。これにより、主要な課題は未知オブジェクトをそのクラスセマンティクスのみを使用して正確に合成する方法になります。この野心的な目標に向けて、我々は新しい生成モデルを提案します。このモデルはクラスセマンティクスを使用して特徴を生成するだけでなく、それらを判別的に分離することも可能にします。さらに、統一されたモデルを使用することで、合成された特徴がクラス内の違いを表す高い多様性を持ちつつ、検出されたバウンディングボックスでの変動する位置精度も確保します。我々は提案手法をPASCAL VOC, MSCOCO, およびILSVRC検出という3つの物体検出ベンチマークで評価し、従来設定と一般化設定の両方において最新手法よりも大幅な改善を示しました。コードは https://github.com/nasir6/zero_shot_detection で公開されています。