要約
最近、言語モデルの事前学習タスクで学習されたニューラルモデル、例えばELMo（Petersら、2017）、OpenAI GPT（Radfordら、2018）、およびBERT（Devlinら、2018）は、質問応答や自然言語推論などの様々な自然言語処理タスクにおいて優れた結果を達成しています。本論文では、クエリに基づくパッセージ再ランキングのためのBERTの単純な再実装について説明します。当システムはTREC-CARデータセットにおいて最先端の性能を示し、MS MARCOパッセージ検索タスクのリーダーボードでも最上位に位置付けられています。MRR@10において、以前の最先端技術に対して相対的に27%以上の性能向上を達成しています。当研究の結果を再現するためのコードはhttps://github.com/nyu-dl/dl4marco-bert で公開されています。