深度扩展(Depth Up-Scaling,简称 DUS)是在论文「SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling 」中提出的,其中包括深度扩展和持续预训练。与其他使用专家混合的 LLM 升级方法相比,DUS 不需要进行复杂的更改即可有效地训练和推理。研究团队通过实验证明,DUS 简单而有效,可以将小型 LLM 扩展到高性能 LLM 。