要約
ニューラルネットワークは、複雑な言語パターンやクエリ-ドキュメント関係を自動的に学習する新しい可能性を提供しています。ニューラル情報検索（IR）モデルは、クエリ-ドキュメントの関連性パターンを学習する上で有望な結果を達成していますが、クエリやドキュメントのテキスト内容の理解に関する研究はまだ十分に行われていません。本論文では、最近提案されたコンテキスト依存型ニューラル言語モデルであるBERTを活用し、情報検索（IR）におけるより深いテキスト理解を提供することについて考察します。実験結果は、BERTからのコンテキスト依存型テキスト表現が従来の単語埋め込みよりも効果的であることを示しています。Bag-of-Words検索モデルと比較して、コンテキスト依存型言語モデルは言語構造を利用できるため、自然言語で書かれたクエリに対して大幅な改善をもたらします。テキスト理解能力と検索知識を組み合わせることにより、訓練データが限られている関連する検索タスクに貢献する強化された事前学習済みBERTモデルが得られました。