完全畳み込みネットワークを用いたパノプティックセグメンテーション

本稿では、パノプティックセグメンテーションのための概念的に単純でありながら強力かつ効率的なフレームワークである「Panoptic FCN」を提案する。本手法は、前景の「もの（things）」と背景の「Stuff」を、統一された完全畳み込み（fully convolutional）パイプライン内で一貫して表現・予測することを目的としている。具体的には、提案するカーネル生成器を用いて各オブジェクトインスタンスまたはStuffカテゴリを特定のカーネル重みに符号化し、高解像度特徴マップに対して直接畳み込み演算を行うことで予測を生成する。このアプローチにより、「もの」と「Stuff」それぞれに対してインスタンス認識能力と意味的整合性を、単純な「カーネル生成→セグメンテーション」のワークフローで効果的に実現できる。位置情報のための追加ボックスやインスタンス分離のための別途処理を必要としない本手法は、COCO、Cityscapes、Mapillary Vistasの各データセットにおいて、単一スケール入力条件下で、従来のボックスベースおよびボックスフリーなモデルを上回る性能を、高い効率性を維持しながら達成している。本研究の実装コードは、https://github.com/Jia-Research-Lab/PanopticFCN にて公開されている。