注意誘導統一ネットワークによるパノプティックセグメンテーション

本論文では、パノプティックセグメンテーションについて研究しています。これは最近提案されたタスクで、前景（FG）オブジェクトをインスタンスレベルで、背景（BG）コンテンツを意味レベルでセグメンテーションします。既存の手法は主にこれらの2つの問題を別々に扱っていましたが、本論文ではそれらの間の潜在的な関係性を明らかにし、特にFGオブジェクトがBG理解のために補完的な手がかりを提供することを示しています。我々のアプローチは、Attention-guided Unified Network (AUNet)と名付けられ、FGとBGのセグメンテーションを同時に処理する統一フレームワークです。BGブランチには2つの注意源が追加され、すなわちRPNとFGセグメンテーションマスクがそれぞれオブジェクトレベルとピクセルレベルの注意を提供します。我々のアプローチは異なるバックボーンにも一般化されており、FGおよびBGセグメンテーションにおいて一貫した精度向上が見られます。また、MS-COCO (46.5% PQ) および Cityscapes (59.0% PQ) のベンチマークにおいて新たな最先端の成果を達成しています。