尽管近年来神经排序架构受到了广泛关注，但用于这些模型输入的词条表示却远未得到足够的重视。在本研究中，我们探讨了如何利用两种预训练的上下文语言模型（ELMo 和 BERT）进行临时文档排序。通过在 TREC 基准上的实验，我们发现现有的几种神经排序架构可以从上下文语言模型提供的额外上下文中受益。此外，我们提出了一种联合方法，将 BERT 的分类向量融入现有的神经模型中，并证明该方法优于当前最先进的临时文档排序基线。我们将这种联合方法称为 CEDR（用于文档排序的上下文嵌入）。我们还讨论了使用这些模型进行排序时面临的一些实际挑战，包括 BERT 对最大输入长度的限制以及上下文语言模型对运行时性能的影响。