HyperAIHyperAI

Command Palette

Search for a command to run...

Die Geometrie der LLM-Quantisierung: GPTQ als Babai-Algorithmus des nächsten Ebenen

Jiale Chen Torsten Hoefler Dan Alistarh

Zusammenfassung

Die Quantisierung der Gewichte großer Sprachmodelle (LLMs) von 16-Bit auf eine niedrigere Bitbreite ist die etablierte Methode, um große Transformer-Modelle auf kostengünstigere Beschleuniger zu deployen. GPTQ hat sich als einer der Standardmethoden für one-shot post-training Quantisierung auf LLM-Skala etabliert. Dennoch werden seine inneren Abläufe als eine Sequenz von ad-hoc algebraischen Updates beschrieben, die jede geometrische Bedeutung oder gar garantierte Worst-Case-Eigenschaften verbergen. In dieser Arbeit zeigen wir, dass GPTQ, wenn es rückwärts (von der letzten zur ersten Dimension) für eine lineare Schicht ausgeführt wird, mathematisch identisch mit Babais nächster-Ebene-Algorithmus für das klassische Closest Vector Problem (CVP) auf einem Gitter ist, das durch die Hessematrix der Eingaben der Schicht definiert wird. Diese Äquivalenz basiert auf einem komplexen mathematischen Argument und hat zwei analytische Folgen: (i) der Schritt der Fehlerverbreitung in GPTQ erhält eine intuitive geometrische Interpretation; (ii) GPTQ erbt die Fehleroberschranke des Babai-Algorithmus unter der Voraussetzung, dass keine Clipping-Operationen durchgeführt werden. Zusammenfassend legen diese Ergebnisse GPTQ auf eine solide theoretische Grundlage und eröffnen den Weg, die jahrzehntelangen Fortschritte in der Gitteralgorithmenforschung für die Entwicklung zukünftiger Quantisierungsmethoden bei Modellen mit Milliarden von Parametern zu nutzen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp