深度音视频语音识别

本研究的目标是识别说话人脸所说的短语和句子，无论是否伴有音频。与以往专注于识别有限数量词汇或短语的工作不同，我们致力于解决唇读的开放世界问题——即不受限制的自然语言句子以及野外视频中的唇读。我们的主要贡献包括：（1）比较了两种唇读模型，一种使用CTC损失函数，另一种使用序列到序列损失函数。这两种模型均基于变压器自注意力架构构建；（2）探讨了在音频信号嘈杂的情况下，唇读对语音识别的补充作用；（3）引入并公开发布了一个新的音视频语音识别数据集LRS2-BBC，该数据集包含数千条来自英国电视的自然句子。我们训练的模型在唇读基准数据集上的表现显著超越了所有先前的研究成果。