腾讯文本-视频检索：基于多层级表示的分层跨模态交互

文本-视频检索在多模态理解中扮演着重要角色，近年来受到越来越多的关注。现有大多数方法主要聚焦于构建完整视频与完整文本句子之间的对比样本，而忽视了细粒度的跨模态关联关系，例如视频片段与短语之间、帧与词之间的对应关系。本文提出一种新颖的方法——层次化跨模态交互（Hierarchical Cross-Modal Interaction, HCMI），旨在探索视频-句子、片段-短语以及帧-词等多个层次的跨模态关系，以提升文本-视频检索性能。考虑到视频帧之间固有的语义关联，HCMI通过自注意力机制挖掘帧级别的相关性，并自适应地将具有强关联性的帧聚类为片段级与视频级的表示。由此，HCMI构建了从帧到片段再到视频的多层次视频表征，以捕捉视频内容的细粒度语义信息；同时，在文本模态上，也构建了从词到短语再到句子的多层次文本表征。基于视频与文本的多层次表示，HCMI设计了层次化对比学习策略，以深入挖掘细粒度的跨模态对应关系，包括帧-词、片段-短语以及视频-句子之间的匹配关系，从而实现视频与文本模态间全面而精准的语义对齐。此外，通过引入自适应标签去噪与边缘样本增强机制，HCMI在多个基准数据集上取得了新的最先进性能：在MSR-VTT、MSVD、LSMDC、DiDemo和ActivityNet数据集上，其Rank@1指标分别达到55.0%、58.2%、29.7%、52.1%和57.3%。