Depth Up-Scaling (DUS) は論文「」で提案されています。SOLAR 10.7B: シンプルかつ効果的な深度アップスケーリングによる大規模言語モデルのスケーリング 」には、深い拡張と継続的な事前トレーニングが含まれます。専門家の混合を使用する他の LLM アップグレード方法と比較して、DUS は効率的にトレーニングおよび推論するために複雑な変更を必要としません。研究チームは、DUS がシンプルかつ効果的であり、小規模な LLM を高性能な LLM に拡張できることを実験的に実証しました。