テキストから多様な推論ステップを要するオープンドメインの質問に答える

本研究では、回答に必要な検索ステップ数が変動するオープンドメインの質問に対して、テキストから直接答えを導出できる統合型システムを開発した。我々は、単一のマルチタスクTransformerモデルを用いて、支持となる事実の検索、その再ランク付け、および取得したすべてのドキュメントから答えを予測するという、必要なすべてのサブタスクを反復的に実行する。従来の手法が実世界の設定にうまく一般化されない重要な仮定（たとえば、各質問に必要な検索ステップ数が事前に固定されていること、または知識ベースやウェブリンクといった構造化メタデータを活用すること）を回避した。代わりに、推論の複雑さについて事前知識を持たずに、任意のテキストコレクション上でオープンドメインの質問に答えることができるシステムを設計した。この設定を模倣するため、既存の1ステップおよび2ステップデータセットと、3つのWikipediaページを参照することで回答可能な新規の530問から構成されるデータセットを統合し、BeerQAと名付けた新たなベンチマークを構築した。この過程でWikipediaコロナのバージョンを統一した。実験の結果、本モデルは既存のベンチマークおよび新規のBeerQAベンチマークの両方で競争力のある性能を示した。新ベンチマークは、https://beerqa.github.io/ にて公開されている。