基于字母特征与重要性采样的神经网络语言建模

本文介绍了对Kaldi软件工具包的扩展，旨在支持基于神经网络的语言建模，适用于自动语音识别（ASR）及相关任务。我们结合使用子词特征（字母n-gram）与高频词的一热编码（one-hot encoding），使模型能够有效处理包含大量低频词的大规模词汇表。此外，本文提出一种新的目标函数，支持对未归一化概率进行训练。针对大规模词汇场景，系统还引入基于重要性采样的方法，以加速训练过程。在五个语料库上的实验结果表明，Kaldi-RNNLM在性能和训练速度方面均达到了与其他主流循环神经网络语言模型工具包相当甚至更优的水平。