Depth Up-Scaling (DUS) ist ein Begriff, der in dem Artikel „SOLAR 10.7B: Skalierung großer Sprachmodelle mit einfacher, aber effektiver Tiefenskalierung ”, das eine tiefgreifende Erweiterung und kontinuierliches Vortraining umfasst. Im Vergleich zu anderen LLM-Upgrade-Methoden, die einen Expertenmix verwenden, erfordert DUS keine komplexen Änderungen für effizientes Training und Inferenz. Das Forschungsteam zeigte durch Experimente, dass DUS einfach und effektiv ist und kleine LLMs zu leistungsstarken LLMs erweitern kann.