HyperAIHyperAI

Command Palette

Search for a command to run...

基于迭代视频-文本共分词的视频问答

AJ Piergiovanni Kairo Morton Weicheng Kuo Michael S. Ryoo Anelia Angelova

摘要

视频问答是一项具有挑战性的任务,需要同时理解语言输入、视频帧中的视觉信息以及视频中事件发生的时序信息。本文提出了一种新型的多流视频编码器,用于视频问答任务。该方法采用多路视频输入,并引入一种新颖的视频-文本迭代联合分词(co-tokenization)策略,以有效回答与视频相关的各类问题。我们在多个数据集上对模型进行了实验评估,包括MSRVTT-QA、MSVD-QA和IVQA,结果表明,该模型在各项指标上均显著超越了先前的最先进方法。同时,模型的计算复杂度大幅降低,所需GFLOPs从原先的150–360降至仅67,显著提升了计算效率,构建了一个高效且性能优越的视频问答模型。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供