HyperAIHyperAI

Command Palette

Search for a command to run...

組成的注意ネットワークによる機械的推論

Drew A. Hudson; Christopher D. Manning

概要

我々はMACネットワークを提案します。これは、明示的かつ表現力豊かな推論を促進するための新しい完全微分可能なニューラルネットワークアーキテクチャです。MACは、単一のブラックボックス型ニューラルアーキテクチャから離れ、透明性と多様性を促進する設計へと移行しています。このモデルは、問題を注意に基づく推論ステップのシリーズに分解し、各ステップを制御と記憶を分離して行う新しい再帰型メモリ、注意、および合成(Memory, Attention, and Composition: MAC)セルによって実行します。これらのセルを連携させ、それらの相互作用を規制する構造的な制約を課すことにより、MACはデータから直接推論されるエンドツーエンドの手法で反復的な推論プロセスを効果的に学習します。我々は視覚推論に挑戦的なCLEVRデータセットにおいて、モデルの強さ、堅牢性、解釈可能性を示しました。98.9%という新たな最先端の精度を達成し、これまでの最良モデルの誤差率を半分以下に削減しました。さらに重要なのは、このモデルが計算効率が高く、データ効率も優れていることです。特に、強力な結果を得るのに既存のモデルよりも5倍少ないデータが必要であることが示されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
組成的注意ネットワークによる機械的推論 | 記事 | HyperAI超神経