Globales Bereinigungsframework Von SparseLLM

SparseLLM ist ein neues globales Beschneidungsframework, das 2024 von Forschern der Emory University und des Argonne National Laboratory vorgeschlagen wurde.SparseLLM: Auf dem Weg zum globalen Beschneiden vortrainierter Sprachmodelle", das von der NeurIPS-Konferenz angenommen wurde, ist ein Framework, das die Effizienz des Vortrainings großer Sprachmodelle (LLMs) verbessern soll.

Das SparseLLM-Framework erreicht eine effiziente Optimierung und hervorragende Leistung auch bei hoher Spärlichkeit, indem es das globale Beschneidungsproblem in überschaubarere Unterprobleme zerlegt. Der Vorteil von SparseLLM besteht darin, dass es eine globale Beschneidung mit geringem Speicherverbrauch erreichen kann. Basierend auf der Beobachtung, dass LLMs als zusammengesetzte Funktion ausgedrückt werden können, hat das Entwicklungsteam das globale Beschneidungsziel durch Hilfsvariablen in eine äquivalente Form umformuliert und es dadurch in mehrere Teilprobleme zerlegt. Anschließend wird ein effizienter Algorithmus entwickelt, um durch abwechselndes Optimieren jedes Teilproblems die global optimale Lösung zu erreichen.

Experimentelle Ergebnisse zeigen, dass das SparseLLM-Framework eine effiziente globale Beschneidung vorab trainierter Sprachmodelle unterschiedlicher Größe erreichen kann und gleichzeitig eine gute Modellleistung aufrechterhält. SparseLLM funktioniert sowohl beim kleineren OPT-Modell als auch beim größeren LLaMA-Modell gut, insbesondere unter Bedingungen hoher Spärlichkeit. Darüber hinaus sprechen die Konvergenzgeschwindigkeit und Vielseitigkeit von SparseLLM nach dem Beschneiden auch stark für seine Effizienz und Anwendbarkeit in praktischen Anwendungen.