HyperAIHyperAI

Command Palette

Search for a command to run...

Video-CoE:通过事件链强化视频事件预测

Qile Su Jing Tang Rui Chen Lei Sun Xiangxiang Chu

摘要

尽管多模态大语言模型(MLLMs)在各类视频任务中的应用已取得显著进展,但视频事件预测(VEP)领域仍相对未被充分探索。VEP 要求模型对视频进行细粒度的时序建模,并建立视频与未来事件之间的逻辑关联,而当前的 MLLMs 在此方面仍面临显著挑战。本文首先对现有主流 MLLMs 在 VEP 任务上的表现进行了全面评估,揭示了其预测不准确的主要原因,包括缺乏对未来事件预测的逻辑推理能力,以及对视觉信息利用不足。为应对上述挑战,我们提出了“事件链”(Chain of Events, CoE)范式。该范式通过构建时序事件链,隐式地引导 MLLM 聚焦于视觉内容及其与未来事件间的逻辑联系,并借助多种训练协议激发模型的推理能力。在公开基准测试上的实验结果表明,我们的方法在性能上优于领先的开源及商业 MLLMs,在 VEP 任务上确立了新的最先进水平(state-of-the-art)。相关代码与模型即将开源。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供