SparseGPT : Les grands modèles linguistiques peuvent être efficacement élagués en une seule étape

Nous montrons pour la première fois que les modèles de grande échelle de la famille des transformateurs génératifs préentraînés (GPT) peuvent être compressés jusqu’à une éparpillement de 50 % en une seule étape, sans réentraînement, avec une perte négligeable de précision. Ce résultat est obtenu grâce à une nouvelle méthode de compression appelée SparseGPT, spécifiquement conçue pour fonctionner de manière efficace et précise sur les modèles massifs de la famille GPT. Nous pouvons appliquer SparseGPT aux plus grands modèles open-source disponibles, OPT-175B et BLOOM-176B, en moins de 4,5 heures, et atteindre une densité non structurée de 60 % avec une augmentation négligeable de la perplexité : remarquablement, plus de 100 milliards de poids peuvent être ignorés au moment de l’inférence. SparseGPT se généralise à des motifs semi-structurés (2:4 et 4:8) et est compatible avec les approches de quantification des poids. Le code est disponible à l’adresse suivante : https://github.com/IST-DASLab/sparsegpt.