La géométrie de la quantification des LLM : GPTQ comme l'algorithme du plan le plus proche de Babai

Quantifier les poids des grands modèles linguistiques (LLM) de 16 bits vers une largeur de bits plus faible est devenu la méthode standard pour déployer des transformeurs massifs sur des accélérateurs plus abordables. GPTQ est apparu comme l'une des méthodes standard pour la quantification post-entraînement en une seule étape à l'échelle des LLM. Cependant, son fonctionnement interne est décrit comme une séquence d'opérations algébriques ad hoc qui masquent toute signification géométrique ou toute garantie dans le pire des cas. Dans ce travail, nous montrons que, lorsqu'il est exécuté de manière inverse (de la dernière à la première dimension) pour une couche linéaire, GPTQ est mathématiquement identique à l'algorithme de la « plus proche planète » de Babai pour le problème classique du vecteur le plus proche (CVP) sur un réseau défini par la matrice hessienne des entrées de la couche. Cette équivalence repose sur un argument mathématique sophistiqué, et présente deux conséquences analytiques : (i) l'étape de propagation des erreurs de GPTQ obtient une interprétation géométrique intuitive ; (ii) GPTQ hérite de la borne supérieure d'erreur de l'algorithme de Babai sous la condition de non-clipping. Ensemble, ces résultats établissent une base théorique solide pour GPTQ et ouvrent la voie à l'importation de décennies de progrès dans les algorithmes de réseaux vers la conception d'algorithmes de quantification futurs pour les modèles à plusieurs milliards de paramètres.