Une revue de l'ingénierie contextuelle pour les grands modèles linguistiques

Les performances des grands modèles de langage (LLMs) sont fondamentalement déterminées par les informations contextuelles fournies lors de l'inférence. Cette revue introduit l'Ingénierie du Contexte, une discipline formelle qui dépasse la conception simple des prompts pour englober l'optimisation systématique des charges d'information destinées aux LLMs. Nous présentons une taxonomie complète qui décompose l'Ingénierie du Contexte en ses composants fondamentaux et dans les implémentations sophistiquées qui les intègrent dans des systèmes intelligents. Nous examinons d'abord les composants fondamentaux : la recherche de contexte et sa génération, le traitement du contexte et la gestion du contexte. Ensuite, nous explorons comment ces composants sont intégrés architecturalement pour créer des implémentations de systèmes sophistiqués : la génération augmentée par la recherche (RAG), les systèmes mémoire et le raisonnement intégré à des outils, ainsi que les systèmes multi-agents. Grâce à cette analyse systématique de plus de 1300 articles de recherche, notre revue établit non seulement un itinéraire technique pour le domaine mais révèle également un fossé critique de recherche : une asymétrie fondamentale existe entre les capacités des modèles. Bien que les modèles actuels, renforcés par une ingénierie avancée du contexte, montrent une compétence remarquable dans la compréhension de contextes complexes, ils présentent des limitations marquées dans la génération d'outputs longs et également sophistiqués. Combler ce fossé est une priorité définissante pour les recherches futures. En définitive, cette revue fournit un cadre unifié pour les chercheurs et les ingénieurs travaillant sur l'intelligence artificielle sensible au contexte.