Sakana AI lance TreeQuest : Une technique révolutionnaire pour combiner plusieurs modèles d'IA et surpasser les LLMs individuels de 30%

Sakana AI lance TreeQuest : une technique permettant aux modèles de langage d'agir en équipe Publié le : 3 juillet 2025, 15h00 Le laboratoire japonais Sakana AI a introduit une nouvelle technique permettant à plusieurs grands modèles de langage (LLMs) de coopérer sur une seule tâche, formant ainsi une sorte de "rêve d'équipe" d'agents d'IA. Baptisée Multi-LLM AB-MCTS, cette méthode permet aux modèles de performer en essayant et en combinant leurs forces uniques pour résoudre des problèmes qui seraient trop complexes pour n'importe quel modèle individuel. Pour les entreprises, cette approche offre un moyen de développer des systèmes d'IA plus robustes et plus capables. Au lieu d'être liées à un seul fournisseur ou modèle, les organisations peuvent dynamiquement exploiter le meilleur des modèles frontières, assignant le bon AI pour chaque partie d'une tâche afin d'obtenir des résultats supérieurs. Le pouvoir de l'intelligence collective Les modèles d'IA frontières évoluent rapidement, mais chaque modèle possède ses propres forces et faiblesses provenant de ses données d'apprentissage et de sa structure unique. Par exemple, un modèle peut exceller dans la programmation, tandis qu'un autre brille en écriture créative. Les chercheurs de Sakana AI affirment que ces différences ne sont pas des défauts, mais des ressources précieuses pour créer une intelligence collective. Ils croient que, comme les plus grandes réalisations humaines viennent de diverses équipes, les systèmes d'IA peuvent aussi accomplir plus en travaillant ensemble. "En mutualisant leur intelligence, les systèmes d'IA peuvent résoudre des problèmes impossibles pour n'importe quel modèle isolé," expliquent-ils dans leur blog. Optimisation à l'étape d'inférence La technique de Sakana AI relève de l'inférence à l'échelle (ou "Scaling à l'étape d'inférence"), un domaine de recherche devenu très populaire au cours de l'année écoulée. Alors que la majeure partie des efforts en IA se concentrent sur l'apprentissage à l'échelle (grossir les modèles et les entraîner sur de plus grands ensembles de données), l'inférence à l'échelle vise à améliorer les performances en allouant davantage de ressources informatiques après l'entraînement du modèle. Une approche courante consiste à utiliser l'apprentissage par renforcement pour encourager les modèles à générer des séquences de raisonnement plus longues et détaillées (Chain-of-Thought, CoT), comme c'est le cas avec des modèles populaires comme l'OpenAI o3 et le DeepSeek-R1. Une autre méthode plus simple est l'échantillonnage répété, où le modèle reçoit la même invite plusieurs fois pour produire une variété de solutions potentielles, similaire à un brainstorming. "Notre cadre offre une version plus intelligente et stratégique du Best-of-N (échantillonnage répété)," confie Takuya Akiba, chercheur chez Sakana AI et co-auteur de l'article. "Il complète les techniques de raisonnement comme le long CoT par renforcement d'apprentissage. En sélectionnant dynamiquement la stratégie de recherche et le modèle LLM approprié, cet approche maximise les performances dans un nombre limité d'appels de LLM, offrant des résultats meilleurs sur des tâches complexes." Comment fonctionne la recherche adaptative multi-branches La base de la nouvelle méthode est un algorithme appelé Adaptive Branching Monte Carlo Tree Search (AB-MCTS). Il permet à un LLM d'effectuer des essais et erreurs de manière intelligente en équilibrant deux stratégies de recherche distinctes : "creuser plus profond" et "explorer plus largement." Creuser plus profond implique de prendre une réponse prometteuse et de la raffiner de manière répétitive, tandis qu'explorer plus largement signifie générer de nouvelles solutions à partir de zéro. AB-MCTS combine ces approches, permettant au système d'améliorer une bonne idée tout en étant prêt à changer de cap s'il rencontre un impasse ou découvre une autre voie possible. Pour ce faire, le système utilise l'algorithme Monte Carlo Tree Search (MCTS), célèbre pour sa mise en œuvre par DeepMind dans AlphaGo. À chaque étape, AB-MCTS utilise des modèles probabilistes pour décider s'il est plus stratégique de raffiner une solution existante ou d'en générer une nouvelle. Les chercheurs ont poussé cette méthode encore plus loin en développant Multi-LLM AB-MCTS, qui non seulement décide de "quoi faire" (raffiner vs. générer) mais auch "qui" devrait le faire. Au début d'une tâche, le système ignore lequel des modèles est le mieux adapté pour le problème. Il commence par essayer un mélange équilibré des modèles disponibles et, au fur et à mesure qu'il progresse, il apprend quels modèles sont plus efficaces, leur attribuant davantage de la charge de travail. Tester l'équipe de rêve de l'IA Les chercheurs ont testé leur système Multi-LLM AB-MCTS sur le benchmarque ARC-AGI-2. AR (Abstraction and Reasoning Corpus) est conçu pour évaluer la capacité d'IA à résoudre des problèmes visuels d'abstraction et de raisonnement inédits, une tâche particulièrement ardue pour l'IA. L'équipe a utilisé une combinaison de modèles de pointe, notamment o4-mini, Gemini 2.5 Pro et DeepSeek-R1. Les modèles en collectif ont trouvé des solutions correctes pour plus de 30 % des 120 problèmes de test, un score qui surpassait largement les performances de chaque modèle agissant de manière indépendante. Le système a montré sa capacité à assigner dynamiquement le modèle le plus approprié pour une tâche donnée. Lorsque la voie vers une solution était claire, l'algorithme identifiait rapidement le LLM le plus performant et l'utilisait plus fréquemment. Plus impressionnant encore, les chercheurs ont observé des cas où les modèles résolvaient des problèmes qui étaient précédemment impossibles pour chacun d'eux de manière isolée. Par exemple, un modèle o4-mini a généré une solution erronée, mais le système l'a ensuite transmise à DeepSeek-R1 et Gemini 2.5 Pro, qui ont pu analyser l'erreur, la corriger et finalement produire la bonne réponse. "Cela montre que Multi-LLM AB-MCTS peut combiner de manière flexible des modèles de pointe pour résoudre des problèmes auparavant insolubles, poussant les limites de ce qui est possible en utilisant les LLMs comme une intelligence collective," soulignent les chercheurs. De la recherche à l'application pratique Afin d'aider les développeurs et les entreprises à appliquer cette technique, Sakana AI a libéré TreeQuest en open-source sous licence Apache 2.0 (utilisation commerciale autorisée). TreeQuest fournit une API flexible, permettant aux utilisateurs d'implémenter Multi-LLM AB-MCTS pour leurs propres tâches avec des critères et logiques personnalisées. "Au stade actuel de son application à des problèmes orientés vers le business, notre recherche révèle une forte potentiel dans plusieurs domaines," note Akiba. Outre le benchmarque ARC-AGI-2, l'équipe a réussi à appliquer AB-MCTS à des tâches comme la programmation algorithmique complexe et l'amélioration de la précision des modèles d'apprentissage automatique. "AB-MCTS pourrait également être hautement efficace pour des problèmes nécessitant un processus itératif d'essais et erreurs, comme l'optimisation des métriques de performance d'un logiciel existant," ajoute Akiba. "Par exemple, il pourrait être utilisé pour trouver automatiquement des moyens d'améliorer la latence de réponse d'un service web." La mise à disposition d'un outil pratique et open-source comme TreeQuest pourrait ouvrir la voie à une nouvelle génération d'applications d'IA d'entreprise plus puissantes et fiables. Évaluation et profil de l'entreprise Les professionnels de l'industrie saluent cette avancée, affirmant que l'approche de Sakana AI représente un pas de géant vers l’intégration de l'IA dans des processus d'entreprise complexes. L'entreprise Sakana AI, connue pour ses innovations en matière d'algorithmes d'optimisation et de techniques d'apprentissage automatisé, continue de repousser les frontières de l'IA. Le cadre Multi-LLM AB-MCTS et l'outil TreeQuest offrent de réelles perspectives pour améliorer l'efficacité et la fiabilité des systèmes d'IA, particularly in reducing hallucinations, a critical issue in business contexts. Cette nouvelle technique, Multi-LLM AB-MCTS, ouvre de nouvelles possibilités en termes de collaboration entre différents modèles de langage, offrant aux entreprises une flexibilité inégalée pour résoudre des problèmes complexes. La libération de TreeQuest en open-source pourrait stimuler la croissance et l'adoption de ces technologies, favorisant une innovation continue dans le domaine de l'IA.