要約
私たちは画像質問応答（ImageQA）問題に取り組むために、質問に基づいて動的に重みを決定する動的パラメータ層を持つ畳み込みニューラルネットワーク（CNN）を学習します。この動的パラメータ予測のため、別個のパラメータ予測ネットワークを使用します。このネットワークは、質問を入力として受け取り候補の重みセットを出力する完全結合層と、質問を取り扱うゲート付きリカレントユニット（GRU）から構成されています。しかし、CNNの完全結合動的パラメータ層における多数のパラメータに対するパラメータ予測ネットワークの構築は困難です。この問題の複雑さを低減するために、ハッシュ技術を導入し、パラメータ予測ネットワークによって与えられる候補の重みが事前に定義されたハッシュ関数を使用して選択され、動的パラメータ層の各々の重みが決定されます。提案されたネットワーク---ImageQA用CNNとパラメータ予測ネットワークを組み合わせたジョイントネットワーク---はバックプロパゲーションを通じてエンドツーエンドで訓練され、その重みは事前学習されたCNNとGRUを使用して初期化されます。提案されたアルゴリズムは、利用可能なすべての公開ImageQAベンチマークにおいて最先端の性能を示しています。