Die Geometrie der LLM-Quantisierung: GPTQ als Babai-Algorithmus des nächsten Ebenen

Die Quantisierung der Gewichte großer Sprachmodelle (LLMs) von 16-Bit auf eine niedrigere Bitbreite ist die etablierte Methode, um große Transformer-Modelle auf kostengünstigere Beschleuniger zu deployen. GPTQ hat sich als einer der Standardmethoden für one-shot post-training Quantisierung auf LLM-Skala etabliert. Dennoch werden seine inneren Abläufe als eine Sequenz von ad-hoc algebraischen Updates beschrieben, die jede geometrische Bedeutung oder gar garantierte Worst-Case-Eigenschaften verbergen. In dieser Arbeit zeigen wir, dass GPTQ, wenn es rückwärts (von der letzten zur ersten Dimension) für eine lineare Schicht ausgeführt wird, mathematisch identisch mit Babais nächster-Ebene-Algorithmus für das klassische Closest Vector Problem (CVP) auf einem Gitter ist, das durch die Hessematrix der Eingaben der Schicht definiert wird. Diese Äquivalenz basiert auf einem komplexen mathematischen Argument und hat zwei analytische Folgen: (i) der Schritt der Fehlerverbreitung in GPTQ erhält eine intuitive geometrische Interpretation; (ii) GPTQ erbt die Fehleroberschranke des Babai-Algorithmus unter der Voraussetzung, dass keine Clipping-Operationen durchgeführt werden. Zusammenfassend legen diese Ergebnisse GPTQ auf eine solide theoretische Grundlage und eröffnen den Weg, die jahrzehntelangen Fortschritte in der Gitteralgorithmenforschung für die Entwicklung zukünftiger Quantisierungsmethoden bei Modellen mit Milliarden von Parametern zu nutzen.