2 个月前

学习实例遮挡以实现全景分割

Justin Lazarow; Kwonjoon Lee; Kunyu Shi; Zhuowen Tu
学习实例遮挡以实现全景分割
摘要

全景分割需要在同一输出中对“物体”(可数对象实例)和“区域”(不可数且无定形的区域)进行分割。一种常见的方法是将实例分割(用于“物体”)和语义分割(用于“区域”)融合为非重叠的片段放置,并解决重叠问题。然而,基于检测置信度的实例排序与自然遮挡关系并不总是很好地对应。为了解决这一问题,我们提出了一种分支方法,该方法负责建模两个实例掩码如何作为二元关系相互重叠。我们的方法称为OCFusion,虽然轻量级但特别有效于实例融合过程。OCFusion通过从现有数据集注释中自动派生的真实关系进行训练。我们在COCO数据集上获得了最先进的结果,并在Cityscapes全景分割基准测试中展示了具有竞争力的结果。