17 天前

掩码交叉图像编码用于少样本分割

Wenbo Xu, Huaxi Huang, Ming Cheng, Litao Yu, Qiang Wu, Jian Zhang
掩码交叉图像编码用于少样本分割
摘要

少样本分割(Few-shot Segmentation, FSS)是一项密集预测任务,旨在仅利用少量标注图像,对未见类别进行像素级标签推断。FSS的核心挑战在于,如何基于少量标注的支持图像(support images)中学习到的类别原型,对查询图像(query image)中的像素进行准确分类。以往的FSS方法通常独立地从支持图像中学习各类别的特征描述符,从而忽略了支持图像与查询图像之间丰富的上下文信息以及特征间的相互依赖关系。为克服这一局限,本文提出一种联合学习方法——掩码跨图像编码(Masked Cross-Image Encoding, MCE),旨在捕捉描述物体细节的共性视觉特征,并学习双向的跨图像依赖关系,以增强特征间的交互能力。MCE不仅是一个视觉表征增强模块,更充分考虑了跨图像间的相互依赖关系与隐式引导机制。在FSS基准数据集PASCAL-$5^i$和COCO-$20^i$上的实验结果表明,所提出方法展现出卓越的元学习能力。