Le raisonnement (Reasoning) est le processus qui consiste, une fois l’entraînement du modèle terminé, à effectuer un calcul avant sur de nouvelles entrées et à produire des résultats. Il ne met pas à jour les poids, mais « utilise » uniquement les paramètres déjà appris. Pour les grands modèles, le raisonnement se déroule généralement en deux phases : d’abord, l’encodage parallèle de l’ensemble du prompt (pré-remplissage), puis la génération autorégressive token par token (décodage). Les caractéristiques de ressources de ces deux phases diffèrent : le pré-remplissage est intensif en calcul, tandis que le décodage est intensif en accès mémoire ; les techniques d’optimisation sont donc différentes.

Le goulot d’étranglement du raisonnement réside souvent moins dans la puissance de calcul que dans la mémoire vidéo : chaque requête doit conserver un cache KV qui augmente avec la génération. Une gestion inadéquate entraîne une fragmentation et des duplications sévères, limitant le nombre de requêtes pouvant être traitées simultanément. En 2023, Kwon et ses collègues ont proposé la technique PagedAttention dans leur article 《Efficient Memory Management for Large Language Model Serving with PagedAttention》, et le framework d’inférence vLLM qui l’accompagne a permis d’améliorer le débit de 2 à 4 fois à latence égale. La gestion de la mémoire vidéo dans les systèmes d’inférence est, en substance, un problème de système d’exploitation. Par ailleurs, la quantification, la distillation de connaissances, le décodage spéculatif et le batching continu sont également des méthodes d’accélération couramment utilisées. En s’inspirant des concepts de mémoire virtuelle et de pagination des systèmes d’exploitation, on découpe le cache KV en blocs de taille fixe et on les mappe à la demande, ce qui réduit le gaspillage à un niveau proche de zéro et permet le partage au sein d’une même requête et entre les requêtes.

D’un point de vue structurel des coûts, l’entraînement représente un investissement unique, tandis que l’inférence constitue un coût récurrent. La latence et le débit de l’inférence déterminent directement la capacité des grands modèles à être déployés à grande échelle ; ce type d’optimisation système est essentiel pour transformer le « fonctionnel » en « abordable ».