KILT：知識集約型言語タスクのベンチマーク

オープンドメインの質問応答、事実検証、スロットフィリング、エンティティリンクなど、多くの課題は大規模な外部知識源へのアクセスを必要とする。一部のモデルは個々のタスクにおいて優れた性能を発揮するが、汎用モデルの開発は困難である。各タスクがカスタム知識ソースの計算コストの高いインデキシングを必要とし、さらに専用のインフラを要するためである。大規模なテキストリソース内の特定情報に条件づくモデルに関する研究を促進するため、本稿では知識集約型言語タスクのためのベンチマーク「KILT」を提案する。KILTのすべてのタスクは同一のWikipediaスナップショットに基づいており、コンポーネントの再利用によりエンジニアリングのラウンドトリップを短縮するとともに、タスクに依存しないメモリアーキテクチャに関する研究を加速する。タスク特化型および汎用型のベースラインを検証し、下流タスクの性能に加えて、モデルが出典（provenance）を提供する能力も評価した。その結果、共有された高密度ベクトルインデックスとseq2seqモデルを組み合わせたアプローチが強力なベースラインであることが明らかになった。このアプローチは、事実検証、オープンドメインの質問応答、対話タスクにおいて、より特化された手法を上回る性能を示し、エンティティリンクおよびスロットフィリングにおいても、曖昧さを解消したテキストを生成することで競争力のある結果を達成した。KILTのデータおよびコードは、https://github.com/facebookresearch/KILT にて公開されている。