bAbi 질문 답변 및 텍스트 이해 데이터 세트

* 이 데이터 세트는 온라인에서 이용 가능합니다.여기를 클릭하여 이동하세요.

QA bAbI 작업은 bAbI 프로젝트에서 질문에 대한 답변과 텍스트 이해를 위한 훈련 데이터 세트입니다. 이 시험은 텍스트 이해와 추론 분야의 첫 번째 20개 과제를 테스트하는 데 사용됩니다. 각 과제에는 훈련용 질문 1,000개와 테스트용 질문 1,000개가 있습니다.

데이터 세트는 여러 개의 질문-답변 쌍을 사용할 수 있는 컨텍스트 세트로 구성됩니다. 현재 여러 디렉토리가 있습니다.

• en / – 영어 작업, 사람이 읽을 수 있음
• hn/ – 힌디어 과제, 사람이 읽을 수 있음;
• Shuffle/ – 인간이 읽을 수 없고 기존 파서와 태거가 직접 사용할 수 없는 무작위 문자로 동일한 작업을 수행하므로 학습자가 주어진 학습 데이터에 더 의존하게 됩니다.
• 동일한 작업을 en-10k/, shuffled – 10k/, hn – 10k/의 세 가지 형식으로 실행하고 10,000개의 학습 예제를 포함합니다.

QA bAbI 작업 데이터 세트는 2015년 Google의 Jason Weston, Facebook의 Antoine Bordes 등이 발표했습니다. 관련 논문은 "AI 완전 질의응답을 향하여: 필수 토이 작업 세트"입니다.