La mise à l'échelle de profondeur (DUS) est un terme utilisé dans l'article «SOLAR 10.7B : Mise à l'échelle de grands modèles linguistiques grâce à une mise à l'échelle simple mais efficace ”, qui comprend une expansion profonde et un pré-entraînement continu. Comparé à d'autres méthodes de mise à niveau des LLM faisant appel à un mélange d'experts, le DUS ne nécessite pas de modifications complexes pour un entraînement et une inférence efficaces. L'équipe de recherche a démontré par des expériences que le DUS est simple et efficace, et permet de transformer de petits LLM en LLM performants.