基于混合Mamba的少样本分割

许多少样本分割（Few-Shot Segmentation, FSS）方法采用交叉注意力机制将支持集前景（Foreground, FG）信息融合到查询特征中，但这类方法通常面临二次方复杂度的瓶颈。近期提出的Mamba架构能够高效捕捉序列内部依赖关系，且计算复杂度仅为线性，因此我们旨在设计一种类注意力的跨序列Mamba结构，以有效建模FSS中的跨序列依赖关系。一个直观的想法是：先对支持集特征进行扫描，将其选择性地压缩至隐藏状态中，再将该隐藏状态作为初始状态，依次扫描查询特征。然而，该方法存在两个关键问题：（1）支持集遗忘问题：在扫描查询特征过程中，查询特征自身也会被持续压缩，导致隐藏状态中所保留的支持集信息不断衰减，致使大量查询像素无法充分融合支持集特征；（2）类内差异问题：查询前景本质上与自身更为相似，而非与支持集前景相似，即查询可能更倾向于利用隐藏状态中自身生成的特征，而非有效融合支持集信息，而FSS的成功依赖于对支持信息的充分使用。为解决上述问题，我们提出了一种混合Mamba网络（Hybrid Mamba Network, HMNet），包含两个核心组件：（1）支持集重捕Mamba（Support Recapped Mamba），在扫描查询特征过程中周期性地重新捕获支持集特征，确保隐藏状态始终包含丰富的支持信息；（2）查询截断Mamba（Query Intercepted Mamba），通过抑制查询像素之间的相互作用，引导查询特征更多地从隐藏状态中融合支持集信息。上述设计有效提升了支持信息的利用效率，显著改善了分割性能。我们在两个公开基准数据集上进行了大量实验，结果表明HMNet在多个指标上均优于现有方法。相关代码已开源，地址为：https://github.com/Sam1224/HMNet。