JPPF：多任务融合以实现一致的全景-部件分割

部分感知全景分割是计算机视觉中的一个问题，旨在在多个粒度级别上提供场景的语义理解。具体而言，该问题同时预测语义区域、对象实例和语义部件。在本文中，我们提出了联合全景部件融合（Joint Panoptic Part Fusion, JPPF）方法，该方法能够有效地结合这三种独立的分割结果以获得全景部件分割。为此，两个方面尤为重要：首先，需要一个统一的模型来解决这三个问题，以便实现相互改进和一致的表示学习；其次，在融合过程中要平衡各个独立结果的重要性，使其具有同等权重。我们提出的JPPF方法无需参数调整，并且能够动态地平衡其输入。该方法在Cityscapes Panoptic Parts (CPP) 和Pascal Panoptic Parts (PPP) 数据集上进行了评估和比较，评价指标为部件质量分数（PartPQ）和整体-部件质量（Part-Whole Quality, PWQ）。通过广泛的实验，我们验证了公平融合的重要性，突出了其对可进一步细分为部件的区域的最大影响，并展示了我们的设计在未经微调的情况下在另外5个数据集上的泛化能力。