序列到序列语音识别中的建模单元选择

在传统的语音识别中，对于非音素语言如英语，音素模型的表现优于字符模型。通常情况下，随着训练数据量的增加，两者之间的性能差距会逐渐减小。在这项研究中，我们探讨了建模单元选择对基于注意力机制的编码器-解码器模型的影响。我们在LibriSpeech 100小时、460小时和960小时的任务上进行了实验，使用了不同的目标单元（音素、字符和词片段）。在所有任务中，我们发现即使没有词典或外部语言模型的支持，字符或词片段模型的表现始终优于音素模型。此外，我们还研究了模型互补性：通过使用音素或字符模型重新评分由强词片段基线生成的N最佳列表，可以将相对字错误率（WER）提高多达9%。然而，使用音素系统生成的N最佳列表进行重新评分只能提供有限的改进。进一步分析表明，词片段模型生成的N最佳假设比音素模型更加多样化，因此其理论最低WER也更低。