重新思考迁移学习与辅助学习以提升音频字幕Transformer模型性能

通过基于Transformer的编码器和迁移学习，自动化音频字幕（Automated Audio Captioning, AAC）的性能已得到显著提升。然而，其性能提升仍受到以下两个问题的制约：（1）预训练与微调阶段输入图像块（patch）尺寸不一致；（2）输入与字幕之间缺乏局部层级关系的建模。本文提出一种简化的迁移学习方案，与以往方法不同，该方案在预训练和微调阶段均保持一致的输入图像块尺寸，从而避免了输入层面的不匹配问题。此外，我们引入了一种基于图像块的关键词估计分支，采用注意力池化（attention pooling）方法，有效捕捉全局与局部层级的信息。在AudioCaps数据集上的实验结果表明，所提出的训练方案与方法显著提升了模型性能。最后，可视化结果进一步验证了所提出的注意力池化机制在捕捉AAC系统中局部语义信息方面的有效性。