基于门控循环单元的音频字幕生成

音频字幕生成是一项近期提出的任务，旨在自动为给定的音频片段生成文本描述。本研究提出了一种基于音频嵌入的新型深度网络架构，用于预测音频字幕。为在提取对数梅尔能量（log Mel energies）的基础上进一步挖掘音频特征，本文采用VGGish音频嵌入模型，探究音频嵌入在音频字幕生成任务中的有效性。所提出的架构分别对音频和文本模态进行编码，并在解码阶段之前将二者融合。音频编码采用双向门控循环单元（Bi-directional Gated Recurrent Unit, BiGRU），而文本编码则使用标准的门控循环单元（GRU）。随后，我们基于新发布的音频字幕性能评估数据集Clotho，对所提模型进行评估，并将实验结果与现有文献进行对比。实验结果表明，所提出的基于BiGRU的深度模型在性能上优于当前最先进的方法。