13 天前

APANet:面向少样本语义分割的自适应原型对齐网络

Jiacheng Chen, Bin-Bin Gao, Zongqing Lu, Jing-Hao Xue, Chengjie Wang, Qingmin Liao
APANet:面向少样本语义分割的自适应原型对齐网络
摘要

少样本语义分割旨在仅利用少量标注的支持图像,对给定查询图像中的新类别物体进行分割。当前主流方法通常采用度量学习框架,通过将查询特征与学习得到的类别特定原型进行匹配来实现分割。然而,该框架由于特征比较不充分,容易导致分类偏差。为解决这一问题,本文提出一种自适应原型表示方法,引入类别特定原型与类别无关原型,从而构建完整的样本对,以实现查询特征与原型之间的语义对齐学习。这种互补特征学习机制有效丰富了特征间的比较方式,有助于在少样本设置下获得无偏的分割模型。该方法基于一个双分支端到端网络结构(即类别特定分支与类别无关分支),分别生成原型,并将查询特征与之进行对比。此外,所提出的类别无关分支设计简洁而高效:在实际应用中,能够自适应地为查询图像生成多个类别无关原型,并以自对比(self-contrastive)的方式学习特征对齐。在PASCAL-5$^i$和COCO-20$^i$数据集上的大量实验表明,本文方法显著优于现有方法。在不牺牲推理效率的前提下,模型在1-shot与5-shot设置下均取得了当前最优的语义分割性能。

APANet:面向少样本语义分割的自适应原型对齐网络 | 最新论文 | HyperAI超神经