Les IA peinent à mener une recherche scientifique originale

Une récente étude publiée sur le serveur préprint arXiv démontre que les intelligences artificielles actuelles restent incapables de mener une recherche scientifique originale et autonome. Malgré les prédictions optimistes sur l'automatisation complète de la découverte, les agents d'IA de pointe éprouvent de réelles difficultés face à la complexité et à la créativité requises par le travail scientifique ouvert. Pour évaluer leurs capacités réelles, les chercheurs ont confié à plusieurs modèles avancés, capables d'exécuter des tâches complexes de manière autonome, la mission de rédiger deux articles scientifiques sur la base de projets de conférence non publiés. L'expérience s'est déroulée sur six jours, avec un accès intégral à Internet, une puissance de calcul dédiée et un budget de trois mille dollars pour les appels d'API. Les sujets portaient sur la structure des personnalités de modèles de langage ainsi que sur la conception d'outils de détection de dérive des données dans les modèles tabulaires. À l'issue de la période d'essais, des experts en intelligence artificielle ont évalué les travaux générés selon les critères d'une revue scientifique de premier ordre. Les résultats ont été sans appel : les deux articles ont reçu des notes de rejet fermes, respectivement deux et un sur six. Si les agents ont correctement compris les questions de recherche et proposé des pistes proches des orientations initiales, leur raisonnement scientifique présentait des lacunes majeures. Les protocoles expérimentaux étaient fragiles et la gestion du temps inefficace, les modèles ayant utilisé moins de la moitié de leur budget et précipité leurs livrables. Face aux retours négatifs, ils ont généralement préféré ajouter des réserves à leurs conclusions plutôt que de remanier leur méthodologie, produisant des textes bien en deçà des standards de publication. Ces constats constituent un rappel nécessaire sur les limites actuelles de l'automatisation en recherche. Ils n'impliquent pourtant pas que l'intelligence artificielle doive être exclue des laboratoires. Au contraire, à court et moyen terme, ces outils s'avèrent bien plus utiles en tant qu'assistants chargés de tâches répétitives, de la littérature ou du traitement de données, plutôt qu'en tant que chercheurs indépendants. La découverte scientifique demeure un processus exigeant une créativité et un jugement critique que les systèmes actuels ne maîtrisent pas encore. L'IA continuera ainsi de transformer le travail de recherche, mais principalement en support technique plutôt qu'en moteur d'innovation autonome.