摘要
当前最先进的唇读方法基于序列到序列架构，这类架构最初为自然语言翻译和语音识别任务而设计。因此，这些方法未能充分挖掘唇部运动的固有特性，导致两个主要缺陷：其一，短时程时间依赖关系——这对从唇部图像映射到视觉音素（visemes）至关重要——未获得额外关注；其二，现有序列模型由于采用全局平均池化（Global Average Pooling, GAP），丢弃了局部空间信息。为有效解决上述问题，本文提出一种时序焦点模块（Temporal Focal Block），以充分建模短时程时间依赖关系；同时设计一种时空融合模块（Spatio-Temporal Fusion Module, STFM），在保留局部空间信息的同时，实现特征维度的压缩。实验结果表明，所提方法在使用远少于现有方法的训练数据、并采用更轻量级卷积特征提取器的情况下，仍能达到与当前最先进方法相当的性能。得益于卷积结构与局部自注意力机制的结合，训练时间显著缩短了12天。