最近、ニューラルランキングアーキテクチャに多くの注目が集まっていますが、これらのモデルへの入力として使用される用語表現には比較的少ない関心が払われています。本研究では、事前学習済みの文脈化言語モデル（ELMoとBERT）をアドホック文書ランキングに利用する方法について調査しました。TRECベンチマークでの実験を通じて、既存のニューラルランキングアーキテクチャは文脈化言語モデルによって提供される追加の文脈から恩恵を受けることが確認されました。さらに、私たちはBERTの分類ベクトルを既存のニューラルモデルに組み込む共同アプローチを提案し、これが最先端のアドホックランキング基準を上回ることを示しました。この共同アプローチをCEDR（Contextualized Embeddings for Document Ranking）と呼びます。また、これらのモデルを使用してランキングを行う際の実用的な課題にも対処しており、それにはBERTによる最大入力長制限や文脈化言語モデルのランタイム性能への影響などが含まれます。