SOGNet：パノプティックセグメンテーションのためのシーンオーバーラップグラフネットワーク

パノプティックセグメンテーションタスクは、セマンティックセグメンテーションとインスタンスセグメンテーションの出力結果を統合した、重なりを含み得る一貫した結果を要求する。しかし、現在の研究では重なりのモデリングを無視しているケースが広く見られる。本研究では、インスタンス間の重なり関係をモデリングし、それを解決することにより、パノプティックセグメンテーションの性能向上を目指す。シーングラフ表現に着想を得て、重なり問題を簡略化した形式、すなわち「シーン重なりグラフ（scene overlap graph）」として定式化する。各オブジェクトのカテゴリ、幾何学的特徴、外観特徴を活用して関係埋め込み（relational embedding）を実行し、重なり関係を符号化した関係行列を出力する。教師信号の不足を克服するため、任意の二つのインスタンス間の重なりを解消する微分可能モジュールを導入する。重なりを除去したマスクロジットを、ピクセル単位のインスタンスID分類器に供給し、パノプティックな教師信号を活用することで、重なり関係のモデリングを支援する。さらに、近似的な重なり関係の真値（approximate ground truth）を生成し、弱教師信号として用いることで、本手法による重なり関係予測の精度を定量的に評価する。COCOおよびCityscapesにおける実験により、本手法が重なり関係を正確に予測でき、パノプティックセグメンテーションの最先端性能を上回ることを示した。また、本手法はCOCO 2019チャレンジにおいてイノベーション賞を受賞した。