17 天前
EgoVLPv2:基于主干网络中融合的自指视频-语言预训练
Shraman Pramanick, Yale Song, Sayan Nag, Kevin Qinghong Lin, Hardik Shah, Mike Zheng Shou, Rama Chellappa, Pengchuan Zhang

摘要
视频-语言预训练(Video-Language Pre-training, VLP)因其在多种视觉与语言任务中具备良好的泛化能力,近年来日益受到重视。然而,现有的第一人称视角VLP框架通常采用独立的视频与语言编码器,并仅在微调阶段学习特定任务的跨模态信息,这限制了统一系统的发展。为此,本文提出了第二代第一人称视频-语言预训练模型EgoVLPv2,相较于前代版本实现了显著提升。EgoVLPv2通过将跨模态融合机制直接嵌入视频与语言主干网络中,实现了在预训练阶段即学习到强大的视频-文本表示能力。同时,该模型复用跨模态注意力模块,能够以灵活高效的方式支持多种下游任务,显著降低微调成本。此外,我们提出的主干网络内融合策略相比堆叠额外的专用融合层,具有更轻量、更高效的计算特性。在广泛多样的视觉-语言任务上进行的大量实验表明,EgoVLPv2在所有下游任务中均持续超越现有强基线模型,达到一致的最先进性能。项目主页详见:https://shramanpramanick.github.io/EgoVLPv2/。