SparseLLM グローバル プルーニング フレームワーク

SparseLLM は、2024 年に米国のエモリー大学とアルゴンヌ国立研究所の研究者によって共同提案された新しいグローバル プルーニング フレームワークです。関連する論文結果は次のとおりです。SparseLLM: 事前トレーニング済み言語モデルのグローバルなプルーニングに向けてNeurIPS カンファレンスで承認されたこのフレームワークは、大規模言語モデル (LLM) の事前トレーニングの効率を向上させることを目的としています。

SparseLLM フレームワークは、グローバル プルーニング問題をより管理しやすいサブ問題に分解することで、高スパース性の下でも効率的な最適化と優れたパフォーマンスを実現します。 SparseLLM の利点は、少ないメモリ消費量でグローバル プルーニングを実現できることです。 LLM は複合関数として定式化できるという観察に基づいて、開発チームは、補助変数を使用してグローバル プルーニング目標を等価な形式に再定式化し、それによってそれを複数の部分問題に分解しました。次に、各部分問題を交互に最適化することで全体最適解を達成する効率的なアルゴリズムが開発されます。

実験結果は、SparseLLM フレームワークが、良好なモデルのパフォーマンスを維持しながら、さまざまなサイズの事前トレーニング済み言語モデルに対して効率的なグローバル プルーニングを実現できることを示しています。小規模な OPT モデルでも大規模な LLaMA モデルでも、SparseLLM は、特に高スパース性の条件下で良好なパフォーマンスを発揮します。さらに、枝刈り後の SparseLLM の収束速度と多用途性も、実際のアプリケーションでの効率性と適用性を強力にサポートします。