本研究では、ハイパーネットワーク（hypernetwork）というアプローチを検討している。ハイパーネットワークとは、あるネットワーク（主ネットワーク）の重みを生成するための別のネットワーク（ハイパーネットワーク）を用いる手法であり、自然界における遺伝子型（ハイパーネットワーク）と表現型（主ネットワーク）の関係に類似した抽象化を提供する。進化的な観点から見れば、HyperNEATに類似する面もあるが、本研究のハイパーネットワークはバックプロパゲーションを用いたエンド・ツー・エンドの学習が可能であり、通常はより高速である。本研究の目的は、深層畳み込みネットワークおよび長距離再帰ネットワークにおいてハイパーネットワークを有効に活用することであり、その際、ハイパーネットワークは層間の重み共有の緩和された形態と見なせる。主な成果として、ハイパーネットワークをLSTMに適用することで、重みを共有しない非共有型重みを生成でき、文字レベルの言語モデリング、手書き文字生成、ニューラル機械翻訳といった多様な時系列モデリングタスクにおいて、ほぼ最先端の性能を達成できることを示した。これにより、再帰ネットワークにおける重み共有の従来の枠組みに挑戦する結果となった。また、畳み込みネットワークへの適用においても、最先端のベースラインモデルと比較して、画像認識タスクにおいて十分に高い性能を達成しつつ、学習可能なパラメータ数を削減できることを示した。