bAbi の質問応答およびテキスト理解データ セット

* このデータセットはオンラインで入手できます。ここをクリックしてジャンプしてください。

QA bAbI タスクは、bAbI プロジェクトの質問応答とテキスト理解のためのトレーニング データ セットです。テキスト理解と推論の最初のセットの 20 個のタスクをテストするために使用されます。各タスクにはトレーニング用の 1000 個の質問が含まれています。テスト用。

このデータ セットは一連のコンテキストで構成されており、コンテキストに基づいて複数の質問と回答のペアを使用できます。

• en/ – 人間が読める英語のタスク。
• hn / – ヒンディー語のタスク、人間が読める形式。
• shuffle/ – ランダムな文字を使用して同じタスクを実行しますが、人間が判読できず、既存のパーサーやトークナイザーで直接使用することもできないため、学習者は指定されたトレーニング データへの依存度が高くなります。
• en -10k/、shuffled – 10k/、および hn – 10k/ – 同じタスクを 3 つの形式で、10,000 のトレーニング例を含みます。

QA bAbI タスク データ セットは、2015 年に Google の Jason Weston 氏、Facebook の Antoine Bordes 氏らによってリリースされました。関連論文には、「Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks」などがあります。