Yuling Shi Yichun Qian Hongyu Zhang Beijun Shen Xiaodong Gu

Résumé

La génération de code dans des contextes longs devient de plus en plus critique à mesure que les grands modèles linguistiques (LLM) sont amenés à raisonner sur d’importantes quantités d’informations au sein d’une base de code. Bien que les progrès récents permettent aux modèles dédiés au code de traiter des entrées longues, les coûts élevés des API et les latences de génération demeurent des goulets d’étranglement majeurs. Les techniques existantes de réduction de contexte, telles que LLMLingua, obtiennent des résultats prometteurs pour les textes généraux, mais négligent les structures et les dépendances spécifiques au code, entraînant ainsi des performances sous-optimales dans les tâches de programmation. Dans cet article, nous proposons LongCodeZip, un nouveau cadre de compression de code plug-and-play spécifiquement conçu pour les LLM dédiés au code. LongCodeZip met en œuvre une stratégie en deux étapes : (1) une compression grossière, qui identifie et classe les fragments au niveau des fonctions à l’aide de la perplexité conditionnelle par rapport à l’instruction, en ne conservant que les fonctions les plus pertinentes ; et (2) une compression fine, qui découpe les fonctions conservées en blocs selon la perplexité et sélectionne un sous-ensemble optimal sous un budget de jetons adaptable, afin de maximiser la pertinence. Des évaluations menées sur plusieurs tâches — y compris la complétion de code, la synthèse et la réponse à des questions — montrent que LongCodeZip surpasse systématiquement les méthodes de référence, atteignant un taux de compression allant jusqu’à 5,6 sans dégradation des performances sur les tâches. En réduisant efficacement la taille du contexte tout en préservant les informations essentielles, LongCodeZip permet aux LLM de mieux s’adapter aux scénarios réels de grande ampleur, contribuant ainsi à améliorer l’efficacité et les capacités des applications d’intelligence du code.