bAbi 问答和文本理解的数据集

日期

5 年前

机构

Facebook
Google

发布地址

research.fb.com

下载帮助

The QA bAbI tasks 是 bAbI 项目中的用于问答和文本理解的训练数据集,其被用于测试文本理解和推理中第一组的 20 个任务,每项任务中均有 1000 个问题用于培训、 1000 个问题用于测试。

该数据集由一组上下文组成,基于上下文可以使用多个问答对,目前有以下几个目录:

  • en / – 英文任务,人类可读;
  • hn / – 印地语任务,人类可读;
  • 改组 / – 采用随机字母执行相同的任务,人类不可读且现有解析器和标记器不能直接使用,因此学习者对给定训练数据的依赖程度有所提升。
  • en -10k /、 shuffled – 10k / 和 hn – 10k / – 三种格式的相同任务,拥有 10000 个训练样例。

The QA bAbI tasks 数据集由 Google 的 Jason Weston 、 Facebook 的 Antoine Bordes 等人于 2015 年发布,相关论文有《Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks》。