JPPF: 一貫性パンオプティック・パート分割のためのマルチタスク融合

部位認識を考慮したパノプティックセグメンテーションは、コンピュータビジョンの問題の一つで、シーンの意味的理解を複数の粒度レベルで提供することを目指しています。具体的には、意味領域、オブジェクトインスタンス、および意味部分が同時に予測されます。本論文では、これらの3つの個別のセグメンテーションを効果的に組み合わせてパノプティック-部分セグメンテーションを得るための我々の提案手法であるJoint Panoptic Part Fusion (JPPF)について紹介します。この目的達成のために最も重要なのは以下の2点です：第一に、3つの問題に対する統一的なモデルが必要であり、相互に改善されかつ一貫性のある表現学習を可能にします。第二に、融合時にすべての個々の結果に同等の重要性を与えるようにバランスを取ることが必要です。我々が提案するJPPFはパラメータフリーであり、動的に入力をバランスを取ります。本方法はCityscapes Panoptic Parts (CPP) データセットとPascal Panoptic Parts (PPP) データセットにおいてPartPQおよびPart-Whole Quality (PWQ)という指標で評価および比較されました。広範な実験を通じて、我々の公平な融合の重要性を確認し、さらに部分に分割できる領域への最大の影響を強調するとともに、5つの追加データセットでの微調整なしでの汎化能力も示しました。