SpatialFlow：パノプティックセグメンテーションのすべてのタスクを橋渡しする

オブジェクトの位置情報は、画像シーンにおけるすべての「もの（things）」および「素材（stuff）」と関連するため、パノプティックセグメンテーションにおいて基本的な要素である。画像内におけるオブジェクトの位置を把握することで、セグメンテーションの手がかりが得られ、ネットワークがシーンをより正確に理解するのに寄与する。特に、オブジェクトの位置情報を「もの」と「素材」の両方のセグメンテーションタスクに統合する方法は、重要な課題である。本論文では、この目的を達成するため、空間情報フロー（spatial information flows）を提案する。これらのフローは、ボックス回帰タスクから他のタスクへオブジェクトの空間的文脈を伝達することで、パノプティックセグメンテーションのすべてのサブタスクを統合する役割を果たす。さらに、サブタスクにおけるオブジェクト空間情報の適切な適応を実現するため、4つの並列なサブネットワークを設計した。これらのサブネットワークとフローを基盤として、位置情報を意識した統合型フレームワーク「SpatialFlow」を提案する。各構成要素について詳細なアブレーションスタディを行い、広範な実験を通じてSpatialFlowの有効性を検証した。さらに、MS-COCOおよびCityscapesのパノプティックベンチマークにおいて、それぞれ47.9 PQおよび62.5 PQという最先端の性能を達成した。コードは https://github.com/chensnathan/SpatialFlow にて公開予定である。