四元数值相关性学习用于少样本语义分割

少样本分割（Few-shot Segmentation, FSS）旨在仅凭借少量标注样本对未见类别进行分割。通过利用在大量训练样本上学习到的基类语义特征来表征新类别，FSS领域已取得显著进展。然而，基于相关性的方法由于受实数域二维卷积固有特性的限制，难以有效建模两个子空间匹配得分之间的交互关系。本文提出一种基于四元数（Quaternion）视角的相关性学习方法，构建了一种新型的四元数相关性学习网络（Quaternion-valued Correlation Learning Network, QCLNet），旨在降低高维相关张量带来的计算负担，并通过四元数代数所定义的运算，深入挖掘查询图像与支持图像之间的内在潜在交互关系。具体而言，我们的QCLNet被设计为一种超复数域网络，将相关张量表示在四元数域中，采用四元数卷积操作，在四元数空间中隐式建模支持子空间维度间的内在关联的同时，探索查询子空间之间的外部关联关系。在PASCAL-5i和COCO-20i数据集上的大量实验表明，所提方法在性能上显著优于现有最先进方法。相关代码已开源，地址为：https://github.com/zwzheng98/QCLNet。本文研究成果《Quaternion-valued Correlation Learning for Few-Shot Semantic Segmentation》已发表于IEEE Transactions on Circuits and Systems for Video Technology，2023年5月，第33卷，第5期，第2102–2115页，DOI: 10.1109/TCSVT.2022.3223150。