Cadre D'élagage Global SparseLLM

SparseLLM est un nouveau cadre d'élagage mondial proposé par des chercheurs de l'Université Emory et du Laboratoire national d'Argonne en 2024.SparseLLM : Vers une réduction globale des modèles linguistiques pré-entraînés", qui a été accepté par la conférence NeurIPS, est un cadre conçu pour améliorer l'efficacité de la pré-formation des grands modèles de langage (LLM).

Le framework SparseLLM permet une optimisation efficace et d'excellentes performances même en cas de forte parcimonie en décomposant le problème d'élagage global en sous-problèmes plus faciles à gérer. L’avantage de SparseLLM est qu’il peut réaliser une élagage globale avec une faible consommation de mémoire. Sur la base de l'observation selon laquelle les LLM peuvent être exprimés comme une fonction composite, l'équipe de développement a reformulé l'objectif d'élagage global sous une forme équivalente via des variables auxiliaires, le décomposant ainsi en plusieurs sous-problèmes. Ensuite, un algorithme efficace est développé pour atteindre la solution optimale globale en optimisant chaque sous-problème en alternance.

Les résultats expérimentaux montrent que le framework SparseLLM peut réaliser une élagage globale efficace sur des modèles de langage pré-entraînés de différentes tailles tout en maintenant de bonnes performances du modèle. SparseLLM fonctionne bien à la fois sur le modèle OPT plus petit et sur le modèle LLaMA plus grand, en particulier dans des conditions de forte parcimonie. De plus, la vitesse de convergence et la polyvalence de SparseLLM après l'élagage fournissent également un solide soutien à son efficacité et à son applicabilité dans les applications pratiques.