基于视听的语音识别与混合CTC/注意力机制架构

近期的语音识别研究主要依赖于连接时序分类（CTC）或序列到序列模型进行字符级别的识别。CTC假设各个字符之间条件独立，而基于注意力的模型则可以提供非顺序对齐。因此，我们可以将CTC损失与基于注意力的模型结合使用，以强制实现单调对齐，同时消除条件独立性的假设。在本文中，我们采用了最近提出的混合CTC/注意力架构，用于野外环境下的视听语音识别。据我们所知，这是首次将这种混合架构应用于视听语音识别。我们使用了LRS2数据库，并展示了所提出的视听模型相较于仅音频模型，在单词错误率上实现了1.3%的绝对降低，并在LRS2数据库上达到了新的最先进性能（7%的单词错误率）。此外，我们还观察到，在信号噪声比下降的情况下，对于多种不同类型的噪声，视听模型显著优于基于音频的模型（单词错误率最高可提高32.9%）。