깊이 확장(DUS)

DUS(Depth Up-Scaling)는 논문에서 사용되는 용어입니다.SOLAR 10.7B: 간단하면서도 효과적인 심도 확장을 통한 대규모 언어 모델 확장 ”에는 심층 확장과 지속적인 사전 학습이 포함됩니다. 전문가 혼합을 사용하는 다른 LLM 업그레이드 방법과 비교할 때, DUS는 효율적인 학습 및 추론을 위해 복잡한 변경을 요구하지 않습니다. 연구팀은 실험을 통해 DUS가 간단하고 효과적이며 소규모 LLM을 고성능 LLM으로 확장할 수 있음을 입증했습니다.