HyperAIHyperAI

Command Palette

Search for a command to run...

SEM-POS:语法与语义正确的视频字幕生成

Asmar Nadeem Adrian Hilton Robert Dawes Graham Thomas Armin Mustafa

摘要

在视频字幕生成任务中,生成语法和语义均正确的字幕是一项极具挑战性的任务。现有方法生成的字幕往往存在逐词生成的问题,难以满足语法结构要求,或遗漏输入视频中的关键信息。为解决上述问题,本文提出一种新颖的全局-局部融合网络,其中包含全局-局部融合模块(Global-Local Fusion Block, GLFB),该模块能够对不同词性(Part-of-Speech, POS)成分的特征与视觉空间特征进行编码与融合。我们创新性地设计了多种POS成分的组合,分别用于监督四个POS子模块:限定词+主语(Det + Subject)、助动词(Aux Verb)、动词(Verb)以及限定词+宾语(Det + Object)。所提出的全局-局部融合网络结合POS模块,有效实现了视觉特征与语言描述之间的对齐,从而生成语法正确且语义准确的字幕。在MSVD和MSRVTT两个基准数据集上的大量定性与定量实验表明,所提方法在生成字幕的语法与语义准确性方面显著优于现有方法,达到了新的最先进水平。对POS模块及GLFB的消融实验进一步验证了各组成部分对整体性能的贡献。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供