ニューラルアーキテクチャの革新は、言語モデリングおよびコンピュータビジョン分野において顕著な進展をもたらした。しかし、新たなアーキテクチャは、ネットワークパラメータの初期化が適切でない場合、ハイパーパラメータの選定が困難になり、学習の不安定性を引き起こす傾向がある。これまでに、特定のアーキテクチャに特化した初期化手法が多数提案されてきたが、これらは新しいアーキテクチャへの適用性に限界がある。本論文では、ニューラルネットワークの初期化を自動的かつアーキテクチャに依存しない方法として、GradInitを提案する。GradInitは単純なヒューリスティックに基づくものであり、指定されたハイパーパラメータを用いたSGDまたはAdamによる1ステップの更新で、得られる損失値が最小となるように、各層のパラメータのノルムを調整する。この調整は、各パラメータブロックの前にスカラー乗数変数を導入し、その変数をシンプルな数値最適化スキームにより最適化することで実現される。GradInitは、スキップ接続を有する・なしを問わず、多数の畳み込みアーキテクチャにおける収束速度とテスト性能を向上させる。また、正規化層が存在しない場合でも同様の効果を発揮する。さらに、機械翻訳における従来のTransformerアーキテクチャの学習安定性を向上させ、学習率ウォームアップを用いずに、広範な学習率およびモーメンタム係数の範囲でAdamまたはSGDによる学習が可能となる。コードは、https://github.com/zhuchen03/gradinit にて公開されている。