揭示基于语言引导的RGB-热红外语义分割中Segment Anything Model 2的潜力

机器人系统的感知能力依赖于数据集的丰富程度。尽管在大规模数据集上训练的 Segment Anything Model 2（SAM2）在感知任务中展现出强大的潜力，但其固有的训练范式使其难以适用于RGB-T（可见光-热成像）任务。为应对这一挑战，本文提出SHIFNet——一种基于SAM2的新型混合交互范式（Hybrid Interaction Paradigm），通过语言引导机制充分挖掘SAM2在高效RGB-热成像感知中的潜能。本框架包含两个核心组件：(1) 语义感知跨模态融合（Semantic-Aware Cross-modal Fusion, SACF）模块，通过文本引导的亲和力学习动态调节不同模态的贡献权重，有效克服SAM2固有的可见光偏置问题；(2) 异构提示解码器（Heterogeneous Prompting Decoder, HPD），通过语义增强模块强化全局语义信息，并与类别嵌入相结合，显著提升跨模态语义一致性。SHIFNet仅包含3227万可训练参数，在公开基准测试中取得了当前最优的分割性能，分别在PST900数据集上达到89.8%的分割精度，在FMB数据集上达到67.8%。该框架有效实现了预训练大模型向RGB-T分割任务的迁移适配，在大幅降低数据采集成本的同时，赋予机器人系统全面而精准的感知能力。项目源代码将公开发布于：https://github.com/iAsakiT3T/SHIFNet。