SparseLLM 글로벌 프루닝 프레임워크

SparseLLM은 에모리 대학교와 아르곤 국립 연구소의 연구자들이 2024년에 제안한 새로운 글로벌 프루닝 프레임워크입니다.SparseLLM: 사전 학습된 언어 모델의 전역적 가지치기를 향하여NeurIPS 컨퍼런스에서 승인된 "은 대규모 언어 모델(LLM)의 사전 학습 효율성을 개선하도록 설계된 프레임워크입니다.

SparseLLM 프레임워크는 글로벌 가지치기 문제를 더 관리하기 쉬운 하위 문제로 분해함으로써 높은 희소성에서도 효율적인 최적화와 뛰어난 성능을 달성합니다. SparseLLM의 장점은 메모리 소비를 낮추면서 글로벌 프루닝을 수행할 수 있다는 것입니다. LLM이 합성 함수로 표현될 수 있다는 관찰을 바탕으로, 개발팀은 보조 변수를 통해 전역 가지치기 목표를 동등한 형태로 재구성하고, 이를 여러 하위 문제로 분해했습니다. 그런 다음 각 하위 문제를 번갈아 최적화하여 전역 최적 솔루션을 달성하기 위한 효율적인 알고리즘이 개발됩니다.

실험 결과에 따르면 SparseLLM 프레임워크는 좋은 모델 성능을 유지하면서 다양한 크기의 사전 학습된 언어 모델에 대해 효율적인 전역적 가지치기를 달성할 수 있습니다. SparseLLM은 작은 OPT 모델과 큰 LLaMA 모델 모두에서 좋은 성능을 발휘하며, 특히 희소성이 높은 조건에서 그 성능이 뛰어납니다. 또한, 가지치기 이후 SparseLLM의 수렴 속도와 다용성은 실제 응용 분야에서의 효율성과 적용성을 강력하게 뒷받침합니다.