要約
本研究はハイパーネットワークに焦点を当てています。これは、一つのネットワーク（ハイパーネットワークとも呼ばれます）を使用して、別のネットワークの重みを生成する手法です。ハイパーネットワークは、自然界で見られる抽象化と類似しています：ジェノタイプ（ハイパーネットワーク）とフェノタイプ（主ネットワーク）の関係です。進化的な観点から見ると、HyperNEATにも似ていますが、我々のハイパーネットワークはバックプロパゲーションによるエンドツーエンドでの学習が行われるため、通常はより高速です。本研究の主な目的は、深層畳み込みネットワークや長期間の再帰型ネットワークにおいて、ハイパーネットワークが有用であることを示すことです。これらのネットワークでは、ハイパーネットワークは層間での重み共有の緩和形態として捉えることができます。主要な結果として、ハイパーネットワークはLSTMに対して非共有重みを生成し、文字レベル言語モデルや筆跡生成、ニューラル機械翻訳などの一連のシーケンスモデリングタスクにおいて最新の最先端結果に近い成果を達成できることを示しました。これにより、再帰型ネットワークにおける重み共有パラダイムに対する挑戦となっています。さらに、我々の結果は、深層畳み込みネットワークへのハイパーネットワーク適用が画像認識タスクにおいても最先端ベースラインモデルと比較して十分な成果を上げることができることを示しており、学習可能なパラメータ数が少ないという利点があります。