Des chercheurs de l’Université de la Colombie-Britannique et de Microsoft Research, dont le co-auteur Yu Hang He, ont mis au point SeKV, une nouvelle méthode permettant d’inférer des contextes longs pour les modèles d’intelligence artificielle avec une consommation de mémoire graphique considérablement réduite. Cette innovation répond à un défi majeur : lorsqu’un grand modèle traite un document de plusieurs dizaines de milliers de mots, il doit conserver l’intégralité des paires de clés et de valeurs pour assurer la cohérence des réponses. Cette exigence entraîne une augmentation linéaire de l’utilisation de la mémoire vidéo, rendant l’inférence lente et souvent impossible sur du matériel grand public. Bien que des solutions de compression existent, elles sacrifient inévitablement des informations essentielles. SeKV propose une approche hybride innovante. Le texte est découpé en paragraphes sémantiques, dont les résumés et les points d’ancrage clés sont conservés en mémoire vidéo pour un accès rapide. Le contenu détaillé est ensuite compressé vers la mémoire centrale du processeur grâce à la décomposition en valeurs singulières, une technique mathématique qui préserve les caractéristiques essentielles tout en réduisant le volume de données à un vingtième. Un module de routage léger, représentant moins de 0,05 % des paramètres du modèle, apprend à identifier les sections pertinentes et à récupérer les détails en mémoire centrale uniquement lorsque nécessaire. Cette architecture ne nécessite aucun réentraînement du modèle principal, garantissant une compatibilité immédiate avec les systèmes existants. Les résultats démontrent des performances remarquables. Sur des contextes de 128 000 mots, SeKV réduit l’occupation mémoire de plus de 50 % par rapport aux méthodes traditionnelles et permet même d’atteindre une compression de 90 % sans perte significative de précision. En comparaison avec les techniques de compression sémantique actuelles, le modèle améliore sa précision d’environ six points de pourcentage. Grâce à cette optimisation, une carte graphique standard de 24 giga-octets, auparavant limitée à des textes courts, peut désormais traiter des contextes allant jusqu’à 300 000 mots. L’entraînement du module de routage reste rapide, nécessitant de deux à six heures sur huit cartes A100. Cette avancée ouvre de nouvelles perspectives pour des applications professionnelles exigeantes, comme l’analyse de contrats juridiques, la lecture de multiples articles scientifiques ou la synthèse de romans longs. En supprimant la barrière matérielle liée à la mémoire vidéo, SeKV rend l’intelligence artificielle capable de maîtriser les documents longs accessible à un public plus large, permettant aux utilisateurs de profiter de fonctionnalités avancées sans investir dans du matériel spécialisé. Cette approche équilibre efficacement performance, économie de ressources et accessibilité, marquant un pas significatif vers une IA contextuelle plus robuste et inclusive.