2ヶ月前
Zero-Shot Semantic Segmentation ゼロショット意味分割
Maxime Bucher; Tuan-Hung Vu; Matthieu Cord; Patrick Pérez

要約
意味分割モデルは、多数の物体クラスへのスケーリング能力に制限があります。本論文では、ゼロショット意味分割という新しいタスクを導入します。これは、トレーニング例がゼロの未見の物体カテゴリーに対する画素単位の分類器を学習することです。この目的のために、私たちは深層視覚分割モデルと意味語彙埋め込みから視覚表現を生成する手法を組み合わせた新規アーキテクチャであるZS3Net(Zero-Shot Semantic Segmentation Network)を提案します。これにより、ZS3Netはテスト時に既知および未知の両方のカテゴリーに対処する画素分類タスク(「一般化」ゼロショット分類と呼ばれる)に取り組むことができます。さらに、未知のクラスからの画素に対して自動疑似ラベリングを行う自己学習ステップによって性能が向上します。Pascal-VOCおよびPascal-Contextという2つの標準的なセグメンテーションデータセットにおいて、我々はゼロショットベンチマークを提案し、競争力のあるベースラインを設定しました。Pascal-Contextデータセットのような複雑なシーンについては、クラスごとのセグメンテーションマップから得られる空間的なコンテキスト事前情報を完全に活用するために、グラフコンテキストエンコーディングを使用してアプローチを拡張しています。