La quantification est un processus qui consiste à réduire la précision des nombres utilisés dans un modèle, par exemple en stockant les poids en entiers sur 8 bits au lieu de nombres à virgule flottante sur 16 ou 32 bits. Cette technique permet de réduire significativement la taille des modèles, d’améliorer leur vitesse d’exécution et de diminuer leurs besoins en ressources matérielles, souvent avec une perte d’accuracy négligeable. Pour les grands modèles linguistiques (LLM), cette optimisation est particulièrement cruciale en raison de leur volume élevé et de leurs exigences en matière de puissance de calcul. Pour illustrer ce concept, imaginez un modèle dont les poids sont initialement représentés en précision double (32 bits). En les quantifiant en 8 bits, on divise la taille mémoire nécessaire par quatre, tout en conservant une grande partie de la performance. Cette réduction est fondamentale pour déployer des LLM sur des appareils à ressources limitées, comme des smartphones ou des appareils embarqués. Au fil du temps, plusieurs approches algorithmiques ont été développées pour mettre en œuvre la quantification. On distingue principalement deux grandes catégories : la quantification en amont (ou post-training quantisation, PTQ) et la quantification accompagnée d’un entraînement (ou Quantisation Aware Training, QAT). La quantification post-entraînement (PTQ) est la méthode la plus simple et la plus couramment utilisée. Elle s’applique à un modèle déjà entraîné, sans nécessiter de re-entraînement. Elle fonctionne en analysant la distribution des poids et des activations du modèle pour déterminer les meilleurs intervalles de quantification. Des algorithmes comme Layer-wise Quantization ou MinMax Quantization sont couramment utilisés. Bien que rapide à appliquer, cette méthode peut entraîner une perte de performance plus marquée dans certains cas, surtout sur des modèles très complexes. En revanche, la quantification consciente de l’entraînement (QAT) intègre la quantification directement dans le processus d’entraînement. Cela signifie que le modèle est entraîné en simulant la perte de précision due à la quantification, ce qui lui permet d’adapter ses poids pour mieux résister à cette approximation. Cette approche conduit généralement à une meilleure préservation de la performance, mais elle exige plus de temps et de ressources, car elle nécessite un re-entraînement complet. Au-delà de ces deux grandes catégories, plusieurs variantes et améliorations ont vu le jour. Par exemple, la Quantification à bits variables (VQ) ajuste dynamiquement la précision selon le niveau de sensibilité des poids. La Quantification à deux étapes (Two-Stage Quantization) combine PTQ et QAT pour un bon compromis entre efficacité et performance. Des méthodes comme Smooth Quant ou GPTQ explorent des stratégies plus fines, notamment en tenant compte de la corrélation entre les couches du modèle ou en utilisant des algorithmes d’optimisation avancés pour minimiser les erreurs de quantification. En résumé, le choix de la méthode de quantification dépend fortement du contexte d’application : la disponibilité des ressources, les contraintes de mémoire, les exigences de performance et le temps disponible pour l’entraînement. Pour les déploiements rapides sur des dispositifs embarqués, la PTQ reste souvent préférée. Pour des applications exigeant une haute précision, la QAT ou des variantes avancées offrent des résultats supérieurs. La quantification est donc bien plus qu’un simple ajustement technique : c’est un levier clé pour rendre les grands modèles linguistiques accessibles, rapides et durables à l’échelle mondiale.