2ヶ月前

組成的注意ネットワークによる機械的推論

Drew A. Hudson; Christopher D. Manning
組成的注意ネットワークによる機械的推論
要約

我々はMACネットワークを提案します。これは、明示的かつ表現力豊かな推論を促進するための新しい完全微分可能なニューラルネットワークアーキテクチャです。MACは、単一のブラックボックス型ニューラルアーキテクチャから離れ、透明性と多様性を促進する設計へと移行しています。このモデルは、問題を注意に基づく推論ステップのシリーズに分解し、各ステップを制御と記憶を分離して行う新しい再帰型メモリ、注意、および合成(Memory, Attention, and Composition: MAC)セルによって実行します。これらのセルを連携させ、それらの相互作用を規制する構造的な制約を課すことにより、MACはデータから直接推論されるエンドツーエンドの手法で反復的な推論プロセスを効果的に学習します。我々は視覚推論に挑戦的なCLEVRデータセットにおいて、モデルの強さ、堅牢性、解釈可能性を示しました。98.9%という新たな最先端の精度を達成し、これまでの最良モデルの誤差率を半分以下に削減しました。さらに重要なのは、このモデルが計算効率が高く、データ効率も優れていることです。特に、強力な結果を得るのに既存のモデルよりも5倍少ないデータが必要であることが示されています。

組成的注意ネットワークによる機械的推論 | 最新論文 | HyperAI超神経