多模态引导：一种统一的时序Transformer用于视频目标分割

近年来，基于多模态信号（如语言和音频）的视频目标分割（Video Object Segmentation, VOS）在产业界与学术界引发了日益广泛的关注。该任务面临两大挑战：模态内部的语义对齐，以及跨帧之间的视觉对应关系建模。然而，现有方法通常为不同模态设计独立的网络架构，且忽视了与参考信息之间的帧间时序交互。为此，本文提出MUTR——一种面向指代性视频目标分割的多模态统一时序Transformer模型。MUTR首次构建了统一框架，采用类似DETR的Transformer结构，能够基于文本或音频参考实现视频目标的精准分割。具体而言，我们提出了两种策略，以充分挖掘视频与多模态信号之间的时序关联。首先，在Transformer处理前的低层时序聚合阶段，我们使多模态参考信号能够从连续视频帧中捕获多尺度视觉线索，从而有效赋予文本或音频信号以时序感知能力，显著增强模态间的语义对齐。其次，在Transformer处理后的高层时序交互阶段，我们引入帧间特征通信机制，促进不同目标嵌入之间的信息交互，从而提升视频序列中目标层面的对应一致性，改善目标跟踪性能。在分别以文本和音频为参考的Ref-YouTube-VOS与AVSBench数据集上，MUTR相较于当前最先进方法分别实现了+4.2%和+8.7%的J&F（平均交并比与F值）提升，充分验证了其在统一多模态VOS任务中的有效性与优越性。相关代码已开源，地址为：https://github.com/OpenGVLab/MUTR。