L’ingénierie du contexte est une approche stratégique visant à optimiser la performance des modèles linguistiques à grande échelle (LLM) en contrôlant précisément les informations qu’ils reçoivent. Contrairement à l’ingénierie de prompt, qui se concentre uniquement sur le système de prompt, l’ingénierie du contexte englobe l’ensemble des données fournies au modèle : prompts, exemples, documents externes, outils, et autres éléments contextuels. Cette méthode est particulièrement pertinente lors de l’utilisation des LLM via une API, où l’on peut dynamiquement ajuster le contexte en temps réel — par exemple, grâce à des techniques comme la génération augmentée par récupération (RAG) ou le choix d’exemples adaptatifs. Parmi les sept stratégies clés, la prompting zéro-exemple constitue la base : le modèle reçoit simplement une instruction sans exemple. Elle fonctionne bien pour des tâches simples comme la classification de sentiments, mais sa performance se limite souvent à des cas élémentaires. La prompting à faible exemple améliore cette approche en ajoutant des exemples concrets dans le contexte, ce qui aide le modèle à mieux comprendre la tâche. Une variante puissante est le prompting à faible exemple dynamique, où les exemples sont sélectionnés en fonction de leur similarité vectorielle avec la tâche actuelle, garantissant une pertinence accrue. Le RAG (Retrieval-Augmented Generation) est une stratégie essentielle pour les applications nécessitant un accès à de grandes bases de données. Plutôt que d’injecter l’intégralité du corpus, on effectue une recherche vectorielle pour extraire uniquement les documents les plus pertinents, que le modèle utilise ensuite pour générer une réponse. Cette méthode améliore non seulement la précision, mais aussi la capacité du modèle à s’appuyer sur des informations actualisées. L’intégration d’outils via des protocoles comme MCP (Model Context Protocol) permet aux LLM d’interagir avec le monde réel. Par exemple, un agent peut appeler une fonction pour récupérer la météo en temps réel, ce qui transforme un modèle passif en système actif capable d’actions concrètes. D’autres outils peuvent inclure des requêtes à une base de données, des calculs mathématiques ou des appels API. L’optimisation du temps de contexte est cruciale. Bien que certains modèles comme Llama 4 Scout supportent jusqu’à 10 millions de tokens, une surcharge de contexte peut nuire à la performance — un phénomène connu sous le nom de rot du contexte. Des études montrent que même sans augmentation de la difficulté de la tâche, une longueur excessive de contexte diminue la précision du modèle. Il est donc essentiel de ne fournir que des informations pertinentes. Enfin, l’ingénierie du contexte exige une approche itérative : tester différentes combinaisons de contexte, mesurer les performances, et ajuster en fonction. Des techniques comme la fragmentation de tâches (par exemple, résumer un texte avant de le classer) peuvent aider à mieux exploiter la capacité du modèle. En somme, l’ingénierie du contexte est un levier fondamental pour déployer des LLM efficaces à grande échelle. Elle repose sur une combinaison de techniques rigoureuses — RAG, exemples dynamiques, outils, gestion du contexte — et une compréhension fine des limites des modèles. Les experts du secteur, comme Andrej Karpathy, soulignent que l’avenir des LLM ne réside pas seulement dans la taille des modèles, mais dans la qualité du contexte qu’ils reçoivent. Des entreprises comme Anthropic, OpenAI et Google Cloud investissent massivement dans ces approches pour améliorer la fiabilité, la pertinence et l’efficacité des systèmes d’IA.