Ces dernières années, les grands modèles de langage et les technologies d'agents intelligents ont connu une évolution rapide, et les frontières de la participation de l'IA à la recherche scientifique ne cessent de s'étendre. De la revue de la littérature à l'écriture de code en passant par l'analyse des données, de plus en plus de processus de recherche scientifique standardisés peuvent être menés à bien grâce à l'IA, et certains systèmes d'agents intelligents ont même commencé à tenter de réaliser de manière autonome des sous-tâches de recherche scientifique spécifiques. Cependant, une question plus cruciale reste sans réponse systématique : que se passe-t-il lorsque les chercheurs ne fournissent plus de méthodes et de schémas d'exécution clairs, mais se contentent de présenter un problème scientifique à résoudre ?Dans quelle mesure l'IA peut-elle mener des recherches de manière autonome ?

Les référentiels de recherche existants peinent à répondre à cette question. Un type d'évaluation se concentre principalement sur la compréhension, par un modèle, des connaissances scientifiques existantes, restant ainsi proche de la simple « réponse à des questions basées sur les connaissances avec des réponses connues ». Un autre type, tout en intégrant l'exécution de code et l'utilisation d'outils, prédéfinit souvent les méthodes de recherche ou les procédures opérationnelles, testant principalement si l'IA peut accomplir des tâches selon un processus prédéterminé. Ces référentiels peuvent mesurer la compréhension des connaissances et les capacités d'exécution de la recherche, mais ils peinent à différencier davantage les domaines.L'IA est-elle réellement capable de concevoir de manière autonome des solutions de recherche, ou se contente-t-elle de reproduire des solutions déjà fournies par les humains ?

À cette fin, plus de 40 experts issus de plus de dix institutions, dont l'Université Tsinghua, le MIT, l'Université Harvard, l'Université Carnegie Mellon et Microsoft Research, ont investi collectivement plus de 31 000 heures dans la création conjointe d'ASI-Bench, un banc d'essai pour les capacités de recherche indépendante. Son principe fondamental n'est pas simplement d'accroître la difficulté des problèmes, mais plutôt de réduire progressivement la quantité d'informations méthodologiques fournies par les humains pour un même projet de recherche, en observant l'évolution des performances de l'IA et en quantifiant ainsi la dépendance du système à l'égard du pilotage humain.

Les résultats de cette recherche, intitulée « ASI-Bench : À l'aube de la superintelligence artificielle », ont été publiés sur la plateforme de prépublication arXiv.

Voir le document :
https://hyper.ai/papers/2608.17271

Ensemble de données : Un référentiel de tâches de recherche au niveau du projet couvrant 11 disciplines majeures

ASI-Bench repose sur un ensemble de tâches de niveau projet, inspirées de problèmes de recherche réels. Contrairement aux questions de connaissances ou aux exercices standardisés des benchmarks traditionnels, chaque tâche est conçue comme un micro-projet de recherche relativement complet, exigeant de l'agent qu'il franchisse plusieurs étapes : compréhension du problème, choix de la méthode, implémentation du code, exécution expérimentale, vérification des erreurs et itération des résultats.

Cette tâche est née initialement de plus de 1 300 articles universitaires et de questions de recherche de pointe, couvrant de multiples domaines tels que les sciences fondamentales, les sciences de la vie et les technologies de l'ingénierie.L'équipe de recherche commence par sélectionner des sujets candidats représentatifs avec l'aide d'experts du domaine, puis effectue des modifications techniques et des vérifications de faisabilité afin de garantir que les questions de recherche initialement ouvertes puissent être mises en œuvre et évaluées dans un environnement unifié. Les tâches présentant des failles logiques scientifiques, des résultats difficiles à reproduire, des conditions de fonctionnement instables ou un niveau de difficulté trop élevé sont éliminées au cours de ce processus.

final,ASI-Bench conserve 60 tâches de recherche.Il couvre 11 domaines : mathématiques, physique, chimie, biologie, astronomie, science des matériaux, sciences de la Terre, biostatistiques médicales, informatique, robotique et génie électrique. Les différentes tâches impliquent des formats de données, des méthodes de recherche et des normes de validation variés, ce qui empêche, dans une certaine mesure, la domination d’une discipline spécifique ou de méthodes de résolution de problèmes figées sur les benchmarks.

Chaque tâche comprend des objectifs de recherche complets, des données d'entrée spécifiques, un environnement d'exécution, des exigences de sortie claires et des règles de notation quantitatives. Après avoir saisi une tâche, l'agent doit planifier le processus de recherche de manière autonome en fonction des informations obtenues et mener à bien l'expérience à l'aide de code et d'outils. Les 60 tâches ont nécessité un total de plus de 2 600 interactions entre agents et 2 400 exécutions de code.Le temps cumulé nécessaire à un seul agent pour accomplir toutes les tâches dépasse 35 heures.

Compte tenu de la nature intrinsèquement ouverte des tâches de recherche scientifique, il est primordial de garantir la faisabilité des critères de référence et l'efficacité du système de notation. À cette fin, l'équipe de recherche a mené cinq cycles d'évaluation par des experts, totalisant plus de 1 100 évaluations et plus de 2 000 révisions de tâches. Sur cette base, toutes les tâches ont fait l'objet de plus de 1 500 essais complets dans un environnement isolé afin de confirmer la reproductibilité des solutions de référence et la stabilité du programme de notation. Il en résulte une bibliothèque de tâches de recherche au niveau du projet, qui concilie rigueur scientifique et faisabilité technique.

Suppression progressive des directives méthodologiques, quantification de l'autonomie de recherche

Le design le plus reconnaissable d'ASI-Bench.L'essentiel est qu'il ne s'agit pas de concevoir des problèmes différents pour des capacités différentes, mais plutôt de placer les agents intelligents dans le même projet de recherche, en ne modifiant que les informations méthodologiques fournies par les humains.Les objectifs de recherche, les données d'entrée, l'environnement d'exécution, le résultat final et les critères d'évaluation restent inchangés ; seule la quantité d'informations fournies au système varie. En observant l'évolution du score du modèle à mesure que les informations sont progressivement réduites, nous pouvons déterminer si les difficultés rencontrées en IA proviennent de l'exécution, de la mise en œuvre de la méthode ou du choix autonome des pistes de recherche.

ASI-Bench divise chaque tâche en quatre niveaux : B1, B2, B3 et B4.

B1 :Un accompagnement méthodologique complet est fourni. Le système peut obtenir un plan de recherche relativement exhaustif, incluant les équations fondamentales, les méthodes numériques, les étapes clés de mise en œuvre et les paramètres. L'agent intelligent doit principalement convertir ce plan en code et l'exécuter, ce qui permet d'évaluer plus précisément les capacités d'exécution d'une recherche scientifique.

B2 :Seule la catégorie de méthode est fournie. Les étapes d'implémentation détaillées sont supprimées ; le système ne peut obtenir que la catégorie de méthode et les principes fondamentaux. Par exemple, le système peut savoir qu'un problème donné se prête à la résolution par des méthodes spectrales, mais la discrétisation, la stratégie d'intégration et le paramétrage doivent être déterminés manuellement. Ce niveau vise principalement à évaluer si l'IA peut transformer des méthodes abstraites en un processus de recherche réellement opérationnel.

B3 :Seuls les objectifs de recherche et les données sont fournis. Toute indication méthodologique est supprimée ; l’agent ne peut consulter que les données brutes, les objectifs de recherche et les exigences de résultats. Il doit déterminer de manière autonome la nature du problème, choisir les méthodes de recherche, concevoir les processus de calcul et mener à bien les expériences. Cela constitue également le cœur de l’évaluation des capacités de recherche indépendante d’ASI-Bench.

B4 :Ajoutez des informations non pertinentes et perturbatrices. En vous appuyant sur B3, ajoutez des éléments de contexte factuellement corrects mais non pertinents pour la tâche, des hypothèses méthodologiques non vérifiées et d'autres informations scénaristiques afin de tester la capacité du système à identifier le contenu réellement lié à la recherche et à maintenir les processus de recherche normaux dans des environnements informationnels complexes.

Cette configuration permet de décomposer la « recherche indépendante » non plus en un concept général, mais en plusieurs étapes consécutives. Par exemple, si le modèle fonctionne bien en B1 mais que ses performances chutent significativement en B2, cela indique que le problème ne réside peut-être pas dans l'exécution du code, mais dans sa capacité à mener à bien le plan de recherche de manière autonome ; si ses performances chutent à nouveau brutalement entre B2 et B3, cela indique que le choix de la méthodologie et du plan de recherche constituent les nouveaux obstacles majeurs.

Afin de minimiser les interférences externes, ASI-Bench exécute toutes les tâches dans un environnement isolé. L'agent a uniquement accès aux données et aux outils fournis au préalable pour la tâche ; il ne peut effectuer de recherches en ligne ni consulter de bases de connaissances externes. Par conséquent, les résultats finaux reflètent davantage les capacités de raisonnement, de planification et d'exécution propres au modèle que ses capacités de recherche d'informations.

Basé sur le gradient d'information à quatre niveauxASI-Bench peut analyser plus en détail les différences entre les différentes capacités :Les changements dans B1 et B2 reflètent la capacité de traduire les méthodes en processus spécifiques, les changements dans B2 et B3 reflètent la capacité de sélectionner de manière autonome les méthodes et de concevoir des schémas de recherche, et les changements dans B3 et B4 reflètent la robustesse du système face à des informations redondantes.

Vérification expérimentale : limites de performance et de capacité de 18 systèmes de pointe

D'après ASI-Bench,L'équipe de recherche a évalué 18 systèmes de pointe composés d'un « cadre d'agent intelligent + modèle de base à grande échelle ».Il couvre les frameworks d'agents intelligents tels que Codex, Claude Code, Kimi Code, MiMo Code et OpenHands, ainsi que les modèles comme GPT-5.5, GPT-5.6 Sol, Claude Opus, GLM, DeepSeek, Kimi, MiMo et MiniMax. Tous les systèmes fonctionnent dans des environnements isolés ; chaque tâche est exécutée indépendamment à trois reprises et le résultat moyen est retenu.

Les résultats expérimentaux montrent queAvec une supervision humaine réduite, les performances de recherche de l'IA ont rapidement décliné. Les 18 systèmes ont obtenu un score moyen de 50,91 avec un guidage méthodologique complet en B1. En B2, où seules les catégories de méthodes étaient fournies, le score moyen a chuté à 29,10. En B3, sans aucune indication de méthode, le score moyen a encore diminué pour atteindre 26,62. Le système le plus performant, Codex + GPT-5.6 Sol (ultra), a obtenu un score de 51,60 en B3, étant la seule configuration à dépasser 50. L'augmentation de la force d'inférence a amélioré les résultats ; par exemple, le passage de GPT-5.6 Sol de xhigh à ultra a augmenté le score en B3 de 10,74 points. Cependant, globalement, les systèmes actuels ont encore un écart important à combler avant de parvenir à une recherche autonome ouverte et stable.

Les variations de score entre les différents niveaux d'information ont révélé des lacunes de compétences plus spécifiques. Du niveau B1 au niveau B2, le score moyen du système a diminué de 21,82 points ; tandis que du niveau B2 au niveau B3, après la suppression des indications relatives à la catégorie « méthode », le score moyen n'a diminué que de 2,48 points. Cela signifie que…La principale difficulté en IA aujourd'hui n'est pas nécessairement de décider « quelle méthode utiliser », mais plutôt de savoir comment transformer les idées méthodologiques existantes en un processus complet comprenant la sélection des paramètres, l'implémentation du code, la réalisation expérimentale et la vérification des résultats.Parallèlement, B4 a obtenu un score moyen de 26,99 après l'ajout d'informations non pertinentes et interférentes, ce qui est pratiquement identique au score de B3 (26,62), indiquant que, du moins dans les paramètres de tâche actuels, le bruit d'information n'est pas un facteur limitant majeur.

L'expérience a également révélé que la capacité de recherche autonome n'est pas entièrement déterminée par le modèle sous-jacent. Un même modèle, associé à différents frameworks d'agents, peut donner des résultats très différents. Par exemple, MiMo V2.5 Pro, combiné à Claude Code, a obtenu un score global supérieur à 40% par rapport à MiMo Code seul ; Kimi K2.7 a également obtenu de meilleurs résultats avec Claude Code qu'avec Kimi Code seul. Cela indique que les mécanismes d'agents, tels que la planification des tâches, l'appel d'outils, la correction d'erreurs et l'ordonnancement des processus, ont un impact direct sur la qualité de l'exécution des tâches de recherche.

Enfin, il n'existe pas de relation linéaire simple entre le coût et les performances des différents systèmes. Par exemple, le coût par exécution de Codex + GPT-5.6 Sol (xhigh) est environ quatre fois inférieur à celui de Claude Opus 5, alors que leurs scores sur B3 sont similaires ; la version la plus performante de GPT-5.6 Sol (ultra) coûte environ 1 550 $ par exécution. Par conséquent, dans les applications scientifiques pratiques, l'efficacité de calcul doit être prise en compte au même titre que les capacités du modèle. Un investissement plus important dans l'inférence peut accroître les capacités maximales, mais la question de savoir si les tâches de recherche peuvent être menées à bien de manière stable à un coût raisonnable est également un problème auquel les systèmes de recherche autonomes doivent faire face pour progresser vers des applications pratiques.

Derniers mots

L'évaluation des capacités de recherche de l'IA s'est longtemps concentrée sur la réponse aux questions scientifiques, la reproduction des résultats publiés ou la réalisation d'expériences prédéfinies. ASI-Bench va cependant plus loin : lorsque les humains ne fournissent plus de méthodes ni de chemins d'exécution précis, quelle part du travail de recherche l'IA peut-elle mener à bien de manière autonome ? Les résultats de l'évaluation montrent que l'IA est déjà capable d'accomplir des tâches aux chemins clairement définis avec une grande précision, mais un écart important subsiste entre ses capacités actuelles et son aptitude à mener de manière stable une recherche autonome ouverte. L'amélioration future des agents de recherche ne peut reposer uniquement sur des modèles plus performants et une puissance de calcul accrue ; elle requiert également des capacités renforcées en matière de planification des tâches, d'exploitation du retour d'information expérimental et de correction des erreurs. La mesure des capacités de recherche de l'IA évoluera progressivement du « nombre de questions auxquelles elle répond correctement » au « nombre de tâches de recherche concrètes qu'elle peut mener à bien de manière autonome ».