12 天前

面向少样本分割的分层密集相关性蒸馏

Bohao Peng, Zhuotao Tian, Xiaoyang Wu, Chenyao Wang, Shu Liu, Jingyong Su, Jiaya Jia
面向少样本分割的分层密集相关性蒸馏
摘要

少样本语义分割(Few-shot Semantic Segmentation, FSS)旨在构建类别无关的模型,仅依靠少量标注样本即可对未见类别进行分割。以往方法主要依赖语义特征与原型表示,存在分割粒度粗糙以及训练集过拟合等问题。本文提出层次解耦匹配网络(Hierarchically Decoupled Matching Network, HDMNet),基于Transformer架构挖掘像素级支持图像相关性。通过自注意力模块构建层次化密集特征,实现查询图像与支持图像特征之间的级联匹配。此外,我们设计了一种匹配模块以缓解训练集过拟合问题,并引入相关性蒸馏机制,利用粗分辨率下的语义对应关系提升细粒度分割性能。实验结果表明,所提方法表现优异:在COCO数据集的一次学习(one-shot)设置下,mIoU达到50.0%;在五次学习(five-shot)设置下,mIoU提升至56.0%。

面向少样本分割的分层密集相关性蒸馏 | 最新论文 | HyperAI超神经