17日前

StepGame:テキストにおけるロバストなマルチホップ空間推論のための新規ベンチマーク

Zhengxiang Shi, Qiang Zhang, Aldo Lipani
StepGame:テキストにおけるロバストなマルチホップ空間推論のための新規ベンチマーク
要約

自然言語における空間関係の推論は、知能システムが備えるべき重要な能力である。bAbIデータセットは、この分野に関連するタスク(タスク17および19)を捉えようとしているが、これらのタスクにはいくつかの限界がある。特に重要な点として、固定表現に限定されていること、問題を解くために必要な推論ステップ数が少ないこと、また、不要または冗長な情報を含む入力に対してモデルのロバスト性を検証できないことが挙げられる。本論文では、テキストにおけるロバストなマルチホップ空間推論を評価することを目的として、新たな質問応答データセット「StepGame」を提示する。実験の結果、bAbIデータセットにおいて最先端のモデルは、StepGameデータセットでは著しく性能を発揮できないことが明らかになった。さらに、空間推論タスクに特化したテンソル積ベースのメモリ拡張型ニューラルネットワーク(TP-MANN)を提案する。両データセットにおける実験結果から、本モデルはすべてのベースラインを上回る汎化性能およびロバスト性を示した。

StepGame:テキストにおけるロバストなマルチホップ空間推論のための新規ベンチマーク | 最新論文 | HyperAI超神経