17日前

質問応答のためのリーダーからリトリーバーへの知識蒸留

Gautier Izacard, Edouard Grave
質問応答のためのリーダーからリトリーバーへの知識蒸留
要約

情報検索というタスクは、オープンドメインの質問応答など、多くの自然言語処理システムにおける重要な構成要素である。従来の手法は手作業で設計された特徴量に基づいていたが、近年ではニューラルネットワークに基づく連続的表現が競争力のある成果を上げている。このような手法を用いる際の課題の一つは、クエリとサポート文書のペアに対応する教師データを取得することである。本論文では、知識蒸留(knowledge distillation)をヒントに、クエリと文書のアノテーションされたペアを必要としない、下流タスク向けのリトリーバーモデルの学習手法を提案する。本手法は、検索された文書に基づいてタスクを解くためのリーダーモデルのアテンションスコアを活用し、リトリーバーに対する合成ラベルを生成する。提案手法は質問応答タスクにおいて評価され、最先端の性能を達成した。