基于多模态特征建模运动以实现文本驱动的视频分割

基于文本的视频分割旨在根据描述性语句对视频中的目标物体进行精确分割。以往的研究大多忽视了将光流图提供的运动信息与外观特征及语言模态相结合的重要性，而这一融合对于实现准确分割至关重要。本文提出一种方法，通过融合与对齐外观、运动及语言特征，以实现高精度的视频分割。具体而言，我们设计了一种多模态视频Transformer，能够融合并聚合帧间多模态及时间特征。此外，我们引入一种语言引导的特征融合模块，利用语言特征的指导，在每一特征层级上逐步融合外观与运动特征。最后，我们提出一种多模态对齐损失函数，以缓解不同模态特征之间的语义鸿沟问题。在A2D Sentences和J-HMDB Sentences两个基准数据集上的大量实验结果表明，所提方法在性能与泛化能力方面均优于当前最先进的方法。