パンオプティックセグメンテーションにおける共通の意味論的およびインスタンスセグメンテーションネットワークの利用

パンオプティックセグメンテーションのための単一ネットワーク手法を提案します。この手法は、ヒューリスティックスを使用して、共に訓練された意味セグメンテーションとインスタンスセグメンテーションのネットワークからの予測を組み合わせます。共通訓練は、エンドツーエンドのパンオプティックセグメンテーションネットワークへの最初の一歩であり、以前の研究で行われた2つのネットワークでの訓練と予測よりも高速かつメモリ効率が良いです。本アーキテクチャでは、意味セグメンテーションとインスタンスセグメンテーションブランチで共有されるResNet-50特徴抽出器が使用されます。インスタンスセグメンテーションにはMask R-CNNタイプのアーキテクチャが採用され、意味セグメンテーションブランチにはピラミッドプーリングモジュールが追加されています。この手法の結果は、COCOおよびMapillary Joint Recognition Challenge 2018に提出されました。当方のアプローチは、Mapillary Vistas検証セットでPQスコア17.6、COCO test-devセットで27.2を達成しました。