2ヶ月前

ReMO(関連メモリオブジェクト)の探索:テキストベースの推論のための単純なニューラルアーキテクチャ

Jihyung Moon; Hyochang Yang; Sungzoon Cho
ReMO(関連メモリオブジェクト)の探索:テキストベースの推論のための単純なニューラルアーキテクチャ
要約

テキストベースの質問応答タスクにおいて関係推論を必要とする問題を解決するためには、大量の情報を記憶し、その記憶から質問に関連する情報を抽出することが必要です。これまでのアプローチは、外部メモリとMemory Networkが提案した4つの構成要素に基づいていました。これらのうち特筆すべき構成要素は、必要な情報を見つけ出す方法であり、性能に大きく貢献しています。最近、関係推論に特化したシンプルながら強力なニューラルネットワークモジュールであるRelation Network (RN)が導入されました。私たちはMemory Networkの観点からRNを分析し、そのMLP(多層パーセプトロン)成分が質問とオブジェクトペア間の複雑な関係を明らかにできることがわかりました。この結果を踏まえて、MLPを使用してMemory Networkアーキテクチャ上で関連情報を抽出する手法を提案します。この手法は、共同学習されたbAbI-10k話ベースの質問応答タスクおよびbAbI対話ベースの質問応答タスクで新しい最先端の結果を示しました。

ReMO(関連メモリオブジェクト)の探索:テキストベースの推論のための単純なニューラルアーキテクチャ | 論文 | HyperAI超神経