Bien que les réseaux neuronaux très profonds aient démontré leur efficacité pour les applications de vision par ordinateur et de classification de texte, la question de savoir comment augmenter la profondeur du réseau des modèles de traduction automatique neuronale (NMT) pour améliorer la qualité de la traduction reste un problème difficile. Ajouter directement plus de blocs au modèle NMT ne conduit à aucune amélioration et peut même réduire les performances. Dans ce travail, nous proposons une approche en deux étapes efficace avec trois composants spécialement conçus pour construire des modèles NMT plus profonds, ce qui entraîne des améliorations significatives par rapport aux puissantes lignes de base Transformer sur les tâches de traduction anglais-allemand et anglais-français du WMT$14$14\footnote{Notre code est disponible à l'adresse \url{https://github.com/apeterswu/Depth_Growing_NMT}}.