HyperAIHyperAI

Command Palette

Search for a command to run...

HiCM2^22:用于密集视频字幕生成的层次紧凑内存建模

Minkuk Kim¹, Hyeon Bae Kim¹, Jinyoung Moon², Jinwoo Choi¹*, Seong Tae Kim¹*

摘要

随着解决现实世界视频挑战的需求不断增长,密集视频字幕生成(DVC)的兴趣也在逐渐上升。DVC涉及对未剪辑视频进行自动字幕生成和定位。多项研究表明,DVC面临诸多挑战,并引入了利用先验知识(如预训练和外部记忆)的改进方法。在本研究中,我们提出了一种模型,该模型借鉴了人类记忆层次结构和认知机制,利用以人类为中心的分层紧凑记忆。为了模拟类似人类的记忆回忆过程,我们构建了一个分层记忆模块和一个分层记忆读取模块。通过采用事件聚类和使用大型语言模型进行总结的方法,我们建立了一个高效的分层紧凑记忆系统。对比实验表明,这种分层记忆回忆过程显著提升了DVC的性能,在YouCook2和ViTT数据集上达到了最先进的水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供