摘要
我们提出了一种端到端的深度学习架构，用于单词级别的视觉语音识别。该系统结合了时空卷积网络、残差网络和双向长短期记忆（Long Short-Term Memory, LSTM）网络。我们在Lipreading In-The-Wild基准数据集上对该系统进行了训练和评估，该数据集是一个具有挑战性的数据库，包含500个目标单词，每个单词由来自BBC电视广播的1.28秒视频片段组成。所提出的网络达到了83.0%的单词准确率，比当前最先进的方法绝对提高了6.8%，并且在训练和测试过程中未使用关于单词边界的任何信息。