用于衡量统计语言模型进展的十亿词基准测试

我们提出了一种新的基准语料库，用于评估统计语言模型的进展。该基准语料库包含近十亿个训练词，我们希望它能够帮助快速评估新型语言建模技术，并在与其他先进技术结合时比较它们的贡献。我们展示了多种知名类型的语言模型的性能，其中基于循环神经网络的语言模型取得了最佳结果。基线未剪枝的Kneser-Ney 5-元模型达到了67.6的困惑度；通过组合多种技术，困惑度降低了35%，或相对于基线减少了10%的交叉熵（比特）。该基准语料库作为一个code.google.com项目提供；除了重建训练数据和保留数据所需的脚本外，还提供了每个基线n-元模型在十个保留数据集中的每个词的对数概率值。