パンプティック・ディープラブ：ボトムアップ・パンプティックセグメンテーションのためのシンプルで強力かつ高速なベースライン

本研究では、パンオプティック・セグメンテーションのための単純で強力かつ高速なシステム「Panoptic-DeepLab」を提案する。この手法は、二段階アプローチと同等の性能を達成しつつ、高速な推論速度を実現する、ボトムアップアプローチの堅実なベースラインを構築することを目的としている。特に、Panoptic-DeepLabは、セマンティックセグメンテーションとインスタンスセグメンテーションそれぞれに特化したデュアルASPP構造およびデュアルデコーダ構造を採用している。セマンティックセグメンテーションブランチは、DeepLabなど典型的なセマンティックセグメンテーションモデルと同様の設計であり、一方、インスタンスセグメンテーションブランチはクラスに依存しない設計であり、単純なインスタンス中心回帰を実装している。その結果、単一のPanoptic-DeepLabモデルは、Cityscapesベンチマークの3つの評価項目すべてで首位を獲得し、テストセットにおいて84.2%のmIoU、39.0%のAP、65.5%のPQという新たな最先端性能を達成した。さらに、MobileNetV3を搭載した場合、1025×2049の単一画像に対してほぼリアルタイム（15.8フレーム/秒）で処理が可能であり、Cityscapesではテストセットで54.1%のPQを達成する競争力のある性能を示した。Mapillary Vistasテストセットでは、6モデルのアンサンブルにより42.7%のPQを達成し、2018年のコンペティション優勝者を1.5%の有意な差で上回った。最後に、困難なCOCOデータセットにおいても、Panoptic-DeepLabはいくつかのトップダウンアプローチと同等の性能を発揮した。本研究では、初めてボトムアップアプローチがパンオプティックセグメンテーションにおいて最先端の成果を達成できることを実証した。