UPSNet: 統一パノプティックセグメンテーションネットワーク

本論文では、新しく提案されたパノプティックセグメンテーションタスクに対処するための統一パノプティックセグメンテーションネットワーク（UPSNet）を提案します。単一のバックボーン残差ネットワークの上に、まず変形畳み込みに基づく意味セグメンテーションヘッドとMask R-CNNスタイルのインスタンスセグメンテーションヘッドを設計し、これら2つのサブタスクを同時に解決します。さらに重要なのは、パラメータフリーのパノプティックヘッドを導入したことです。このヘッドはピクセルごとの分類を通じてパノプティックセグメンテーションを解決します。最初に前述の2つのヘッドからのロジットを利用し、その後革新的に表現を拡張して未知のクラス（unknown class）の予測を可能とすることで、意味セグメンテーションとインスタンスセグメンテーション間の矛盾をよりよく解消します。また、インスタンス数の変動による課題に対処し、エンドツーエンドで下位モジュールへの逆伝播を許可します。Cityscapes、COCOおよび弊社内部データセットでの広範な実験結果は、UPSNetが最速の推論速度で最先端の性能を達成していることを示しています。コードは以下のURLで公開されています: https://github.com/uber-research/UPSNet