9日前

素晴らしい質問とその入手先:ファンタジーアクションQA ― 物語理解のための本物のデータセット

Ying Xu, Dakuo Wang, Mo Yu, Daniel Ritchie, Bingsheng Yao, Tongshuang Wu, Zheng Zhang, Toby Jia-Jun Li, Nora Bradford, Branda Sun, Tran Bao Hoang, Yisi Sang, Yufang Hou, Xiaojuan Ma, Diyi Yang, Nanyun Peng, Zhou Yu, Mark Warschauer
素晴らしい質問とその入手先:ファンタジーアクションQA ― 物語理解のための本物のデータセット
要約

質問応答(QA)は、機械および幼児・児童の物語理解能力の評価および訓練を促進する基本的な手段であるが、その目的に特化して精心に設計された高品質なQAデータセットは依然として不足している。特に、既存のデータセットは、物語の要素に関する微細な読解スキル(たとえば、異なる物語要素の理解)を区別するケースがほとんどない。本研究では、読解教育に関する研究に基づき、幼稚園から中学3年生を対象とした物語理解を対象としたデータセット「FairytaleQA」を提案する。このデータセットは、証拠に基づく理論的枠組みの下で教育専門家によって作成され、278編の子ども向け物語から、7種類の物語的要素または関係をカバーする10,580件の明示的および暗示的質問を収集している。本データセットの価値は以下の2点に集約される。第一に、既存のQAモデルを当該データセット上で実行した結果、このアノテーションがモデルの微細な学習能力を評価する上で有効であることが確認された。第二に、教育分野における質問生成(QG)タスクを支援する点で有用である。複数のQGモデルを用いたベンチマーク評価により、FairytaleQAで訓練されたQGモデルが、高品質かつ多様な質問を生成できることが示された。

素晴らしい質問とその入手先:ファンタジーアクションQA ― 物語理解のための本物のデータセット | 最新論文 | HyperAI超神経