非常に深いニューラルネットワークは、コンピュータビジョンやテキスト分類のアプリケーションで効果を示していますが、神経機械翻訳（NMT）モデルのネットワーク深さを増やすことで翻訳品質を向上させる方法は依然として難問となっています。NMTモデルに直接ブロックを追加するだけでは、性能の改善は見られず、場合によっては低下することもあります。本研究では、より深いNMTモデルを構築し、強力なトランスフォーマー基準モデルに対してWMT14英語→ドイツ語および英語→フランス語の翻訳タスクで大幅な改善をもたらす有効な二段階アプローチと三つの特別に設計されたコンポーネントを提案します\footnote{コードは \url{https://github.com/apeterswu/Depth_Growing_NMT} から入手可能です}。