Quantisation ist ein entscheidender Ansatz zur Optimierung großer Sprachmodelle (LLMs), um deren Speicherbedarf, Rechenanforderungen und Energieverbrauch zu senken, ohne signifikant an Leistung zu verlieren. Dabei wird die numerische Genauigkeit der Modellgewichte reduziert – statt 32-Bit-Fließkommazahlen (FP32) oder 16-Bit (FP16) werden beispielsweise 8-Bit-Integertypen (INT8) oder sogar 4-Bit- oder 2-Bit-Werte verwendet. Dies führt zu kompakteren Modellen, schnelleren Inferenzzeiten und geringerem Energieverbrauch, was insbesondere für die Nutzung von LLMs auf mobilen Geräten, Edge-Devices oder in ressourcenbeschränkten Umgebungen von großer Bedeutung ist. Die Quantisationsmethoden lassen sich grob in zwei Kategorien einteilen: Quantisation Aware Training (QAT) und Post-Training Quantisation (PTQ). QAT integriert den Quantisierungsprozess bereits während des Trainings. Dabei wird das Modell so trainiert, dass es die Auswirkungen der geringeren Genauigkeit vorhersehen und kompensieren kann. Dies führt in der Regel zu höherer Genauigkeit nach der Quantisierung, erfordert jedoch Zugriff auf das ursprüngliche Trainingsdatenmaterial und erhebliche Rechenressourcen. QAT ist besonders nützlich, wenn hohe Präzision nach der Quantisierung gewährleistet sein muss. Im Gegensatz dazu arbeitet PTQ nach dem Training – die Quantisierung erfolgt direkt auf dem bereits trainierten Modell, ohne zusätzliche Trainingsphasen. PTQ ist schneller, einfacher und kostengünstiger umzusetzen, da keine Neutrainingsnotwendigkeit besteht. Es gibt verschiedene PTQ-Techniken: Von einfachen linearen Quantisierungen über per-Kanal- oder per-Gruppen-Quantisierung bis hin zu anspruchsvolleren Ansätzen wie Layer-wise Quantisation oder MinMax-Quantisation mit dynamischer Skalierung. Neue Entwicklungen wie SmoothQuant oder GPTQ optimieren die Quantisierung durch intelligente Skalierung von Gewichten und Aktivierungen, um Genauigkeitsverluste zu minimieren. Ein weiterer Ansatz sind Mixed-Precision-Quantisation-Strategien, bei denen verschiedene Teile des Modells mit unterschiedlicher Genauigkeit behandelt werden – beispielsweise kritische Schichten mit 16-Bit, weniger empfindliche mit 8-Bit oder sogar 4-Bit. Diese Methode ermöglicht ein optimales Gleichgewicht zwischen Effizienz und Leistung. Darüber hinaus gibt es fortschrittliche Techniken wie Quantisation with Fine-Tuning (QFT), die nach der Quantisierung eine kurze Nachkalibrierung durchführen, um den Genauigkeitsverlust zu korrigieren. Auch die Verwendung von Quantisierungs-Präferenzen in Frameworks wie PyTorch, TensorFlow oder Hugging Face Accelerate erleichtert die Implementierung erheblich. In der Praxis wählt man die Methode je nach Anwendungsfall: Für schnelle Prototypen oder Edge-Deployment eignen sich PTQ-Methoden wie GGUF oder GPTQ. Für kritische Anwendungen mit hohen Genauigkeitsanforderungen ist QAT oder QFT die bessere Wahl. Die Entwicklung von Quantisierungstechniken ist ein dynamisches Feld – aktuelle Forschung konzentriert sich auf 2-Bit-Quantisierung, neuronale Quantisierung (Neural Quantization) und die Integration mit Modellarchitekturen wie Mixture-of-Experts (MoE). Industrielle Experten sehen Quantisation als Schlüsseltechnologie für die breite Verbreitung von LLMs. Unternehmen wie NVIDIA, Meta und Google setzen auf fortschrittliche Quantisierungslösungen, um ihre Modelle effizienter zu machen. Tools wie TensorRT, ONNX Runtime und llama.cpp nutzen diese Methoden, um Modelle auf GPUs, CPUs und mobilen Plattformen zu beschleunigen. Die kontinuierliche Verbesserung der Quantisierungstechniken wird entscheidend dafür sein, wie schnell und nachhaltig LLMs in der Praxis eingesetzt werden können.