要約
部位認識を考慮したパノプティックセグメンテーション（PPS）は、(a) 画像内の各前景オブジェクトと背景領域のセグメンテーションおよび分類、(b) 前景オブジェクト内のすべての部分のセグメンテーション、分類、および親オブジェクトへのリンク付けを必要とします。既存の手法では、PPS をオブジェクトレベルと部分レベルでのセグメンテーションを別々に行うことでアプローチしています。しかし、これらの手法では部分レベルの予測が個々の親オブジェクトにリンクされていません。したがって、学習目標が PPS タスクの目標と一致せず、PPS の性能に悪影響を及ぼします。これを解決し、より正確な PPS 予測を行うために、我々はタスクアライメントされた部位認識を考慮したパノプティックセグメンテーション（TAPPS）を提案します。この手法は一連の共有クエリを使用して、(a) オブジェクトレベルのセグメントと (b) 同じオブジェクト内の部分レベルのセグメントを同時に予測します。その結果、TAPPS は個々の親オブジェクトにリンクされた部分レベルのセグメントを予測する能力を学習し、学習目標がタスク目標と一致することで共同でオブジェクトと部分表現を利用するようになります。実験により示されたように、TAPPS はオブジェクトと部分を別々に予測する手法よりも大幅に優れた性能を発揮し、新しい最先端の PPS 結果を達成しています。