コンテキスト認識型特徴生成によるゼロショットセマンティックセグメンテーション

従来の意味的セグメンテーションモデルは、密なピクセル単位のアノテーションに大きく依存している。アノテーションの負荷を軽減するため、本研究では「ゼロショット意味的セグメンテーション」と呼ばれる挑戦的なタスクに注目する。このタスクは、アノテーションを一切用いずに、未観測のオブジェクトをセグメンテーションすることを目的としている。このタスクは、意味的単語埋め込み（semantic word embeddings）を介したカテゴリ間の知識転移によって実現可能である。本論文では、ゼロショットセグメンテーション向けに、文脈に配慮した特徴生成手法として、CaGNet（Context-aware Feature Generation Network）を提案する。特に、ピクセル単位の特徴がその周辺情報（文脈情報）に強く依存するという観察に基づき、セグメンテーションネットワークに文脈モジュールを導入することで、ピクセル単位の文脈情報を捉え、意味的単語埋め込みからより多様かつ文脈に適応した特徴の生成を促進する。本手法は、ゼロショットセグメンテーションの3つのベンチマークデータセットにおいて、最先端の性能を達成した。コードは以下のURLで公開されている：https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation。