HyperAIHyperAI

Command Palette

Search for a command to run...

重新思考迁移学习与辅助学习以提升音频字幕Transformer模型性能

Sung Won Han Seungjin Lee Dongwon Kim Jin Sob Kim Hyun Joon Park WooSeok Shin

摘要

通过基于Transformer的编码器和迁移学习,自动化音频字幕(Automated Audio Captioning, AAC)的性能已得到显著提升。然而,其性能提升仍受到以下两个问题的制约:(1)预训练与微调阶段输入图像块(patch)尺寸不一致;(2)输入与字幕之间缺乏局部层级关系的建模。本文提出一种简化的迁移学习方案,与以往方法不同,该方案在预训练和微调阶段均保持一致的输入图像块尺寸,从而避免了输入层面的不匹配问题。此外,我们引入了一种基于图像块的关键词估计分支,采用注意力池化(attention pooling)方法,有效捕捉全局与局部层级的信息。在AudioCaps数据集上的实验结果表明,所提出的训练方案与方法显著提升了模型性能。最后,可视化结果进一步验证了所提出的注意力池化机制在捕捉AAC系统中局部语义信息方面的有效性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供