La fenêtre de contexte (Context Window) est la limite maximale du nombre de tokens qu'un grand modèle de langage peut traiter en une seule fois, définissant ainsi la longueur du texte d'entrée et de génération pour une requête unique. Ce mécanisme détermine directement la longueur des documents, des conversations ou du code que le modèle peut lire en une seule passe, et influence également l'occupation de la mémoire vidéo (VRAM) et le coût de l'inférence. La taille de la fenêtre est passée de quelques milliers de tokens à ses débuts à des centaines de milliers, voire des millions aujourd'hui, mais il s'agit essentiellement d'une « capacité » et non d'une « compétence » : être capable de contenir ne signifie pas être capable d'utiliser efficacement.

Ce terme s'est généralisé avec la popularité des modèles de langage Transformer : l'article de GPT-3 en 2020 a établi une limite d'entrée fixe de 2048 tokens, et depuis lors, l'expression « fenêtre de contexte » est devenue le terme standard pour décrire les spécifications des modèles ; la taille de la fenêtre de chaque fournisseur a un temps été une ligne clé dans les tableaux comparatifs des modèles.

Cependant, ce chiffre dans les tableaux comparatifs ressemble davantage à une limite de capacité maximale, qui ne reflète pas nécessairement le niveau réel d'utilisabilité ; « pouvoir contenir » et « pouvoir utiliser efficacement » sont deux choses différentes. En 2023, Liu et al. ont réalisé un test classique dans leur article « Lost in the Middle: How Language Models Use Long Contexts » : dans les tâches de questions-réponses multi-documents et de recherche de paires clé-valeur, les performances du modèle sont optimales lorsque les informations clés se trouvent au début ou à la fin, mais chutent significativement lorsqu'elles sont situées au milieu de longs textes, formant globalement une courbe en « U » — même les modèles spécialisés dans les longs contextes n'y ont pas échappé. Sur le plan des mécanismes, la charge de calcul de l'attention standard croît de manière quadratique avec la longueur de la séquence, et le cache KV augmente linéairement avec la taille de la fenêtre ; ainsi, « augmenter la taille de la fenêtre » implique des coûts plus élevés en mémoire vidéo et en latence. Les chercheurs utilisent des techniques telles que l'extrapolation des encodages positionnels et la compression par récupération pour atténuer ces problèmes, tandis que la solution d'ingénierie courante est l'amélioration par récupération (RAG) : découper d'abord les longs documents en morceaux, récupérer selon les besoins, puis insérer les fragments les plus pertinents dans la fenêtre. La leçon d'ingénierie est directe : les informations clés doivent être placées au début ou à la fin, et les longs documents doivent d'abord faire l'objet d'une récupération avant d'être fournis au modèle.

[JIALIU_0]