Lorsque vous lisez un roman comme Le Rêve de la chambre rouge, Harry Potter ou Cent ans de solitude, il est facile de perdre le fil de l’intrigue ou de confondre les personnages au fil des pages. Les systèmes d’intelligence artificielle rencontrent un problème similaire : lorsqu’ils doivent traiter des textes très longs, ils ralentissent, oublient des informations ou peinent à maintenir une compréhension cohérente. Pour résoudre ce défi, un doctorant de l’université de Yale, Liu Dong, en collaboration avec d’autres chercheurs, a développé un nouveau cadre appelé HSGM (Hierarchical Segment-Graph Memory), conçu pour permettre à l’IA de comprendre efficacement des documents extrêmement longs. Les tests montrent que HSGM traite les textes longs entre deux et quatre fois plus vite que les méthodes traditionnelles. Un document qui prenait une minute à analyser peut désormais être traité en 15 à 30 secondes. En outre, il consomme 60 % de mémoire en moins, tout en maintenant une précision proche des meilleures solutions actuelles — au-delà de 95 %. Et lorsque le texte atteint 20 000 mots, l’amélioration devient spectaculaire : HSGM est jusqu’à 59 fois plus rapide que les approches classiques. Le fonctionnement de HSGM repose sur une approche inspirée de la manière dont les humains lisent. Plutôt que d’essayer de tout assimiler d’un coup, l’IA découpe le texte en segments courts d’environ 256 mots. Pour chaque segment, elle construit une « carte sémantique » — une représentation graphique des relations entre les mots (par exemple, « Xiao Ming → va → parc », « va → se promener »). Au lieu de garder toutes les détails, HSGM extrait un nœud résumé pour chaque segment, comme un résumé de chapitre. Ces résumés sont ensuite reliés pour former une « carte globale » du document, une vue d’ensemble compacte mais riche en informations. Lorsqu’un nouvel élément est ajouté — comme une nouvelle phrase dans une conversation ou un article en temps réel — HSGM met à jour cette carte en ajoutant une nouvelle « petite carte » et son résumé, un processus appelé mise à jour incrémentale. Cela permet une gestion efficace du contenu en constante évolution, comme les échanges de chat ou les flux d’actualités. Lorsqu’une question est posée, HSGM ne parcourt pas tout le texte au hasard. Il commence par localiser rapidement les segments les plus pertinents dans la carte globale, comme un bibliothécaire qui consulte un index pour trouver les bons rayons. Ensuite, il accède aux cartes détaillées des segments sélectionnés pour extraire la réponse exacte. Cette méthode combine rapidité et précision. Les applications de HSGM sont nombreuses : systèmes de questions-réponses (par exemple, « Combien de fois Jia Baoyu et Lin Daiyu se parlent-ils dans Le Rêve de la chambre rouge ? »), compréhension de dialogues longs dans les services clients, raisonnement à plusieurs étapes (comme « Où Xiao Ming étudiait-il au départ, et où a-t-il transféré ? »), génération automatique de résumés, ou encore analyse de documents juridiques complexes. Au-delà de la recherche, Liu Dong est fondateur de FastLM.ai, une entreprise spécialisée dans l’infrastructure efficace pour le raisonnement des grands modèles. Elle met en œuvre les principes de HSGM dans des produits concrets : gestion intelligente du cache, mémoire hiérarchique, accélération de l’attention. L’objectif est de transformer le traitement des séquences longues d’un problème technique imprévisible en une solution fiable, contrôlable et évolutif. Liu Dong insiste sur deux points fondamentaux : premièrement, les séquences longues ne sont pas simplement des séquences courtes agrandies. Elles souffrent de phénomènes comme la décroissance de l’attention, la répétition structurelle et la sélection sélective de l’information — des défis qui exigent une véritable « ingénierie de la mémoire ». Deuxièmement, avec l’essor des modèles diffusion pour la génération vidéo et d’images haute résolution, il devient impossible de compter uniquement sur des ressources matérielles croissantes. Il faut repenser la mémoire et l’attention pour atteindre une efficacité durable. Son rêve ? Créer une infrastructure d’IA consciente de la mémoire, capable de rendre le traitement des séquences longues non seulement plus rapide et moins coûteux, mais aussi explicite, contrôlable et industrialisable. Une vision où l’intelligence artificielle ne se contente pas de « se souvenir de tout », mais sait « se souvenir au bon moment, récupérer vite, et oublier intelligemment ».