尽管非常深的神经网络在计算机视觉和文本分类应用中表现出有效性，但如何增加神经机器翻译（NMT）模型的网络深度以提高翻译质量仍然是一个具有挑战性的问题。直接在NMT模型中堆叠更多的块不仅不会带来性能提升，甚至可能会降低性能。在这项工作中，我们提出了一种有效的两阶段方法，并设计了三个专门的组件来构建更深的NMT模型，这些模型在WMT14英德和英法翻译任务上显著优于强大的Transformer基线模型\footnote{我们的代码可在\url{https://github.com/apeterswu/Depth_Growing_NMT}获取}。