HyperAI
Back to Headlines

30 Mathématiciens Défient l'IA, Mais Les Modèles Actuels Restent Limités en Logique Profonde

il y a 2 mois

Une trentaine de mathématiciens ont été invités à tester les capacités d’IA en leur proposant des problèmes mathématiques complexes. Bien que l'IA ait réussi à résoudre la plupart d’entre eux, Jasper, l'un des organisateurs, a souligné une faiblesse importante : "Chaque question nécessite une réponse sous forme de nombre." Il explique que cette exigence change fondamentalement la nature de la tâche, passant d'une démarche théorique et non rigoureuse à une résolution pratique avec un résultat numérique précis. Dans l'ensemble, la recherche moderne en mathématiques se concentre sur la démonstration et la preuve plutôt que sur des calculs purs et simples. Cependant, pour résoudre un problème, il faut souvent naviguer à travers des structures logiques complexes et des théories profondes, avant de parvenir à un résultat concret. Cette transformation de la tâche en un simple calcul a modifié sa nature, la rendant plus adaptée à des outils de calcul performants. Jasper et son équipe ont d’abord utilisé une IA appelée o4-mini pour traiter des énigmes de doctorat require une compréhension profonde et des connaissances spécialisées. Bien que l’IA ait réussi à résoudre la majorité de ces problèmes, ses solutions étaient souvent marquées par une trop grande confiance en elle-même. Jasper a noté que "malgré quelques erreurs dans le raisonnement, le modèle réussit néanmoins à obtenir des réponses numériques correctes." Cette capacité de l'IA à aboutir à des réponses justes malgré des biais logiques montre qu'elle peut optimiser des tâches grâce à des ajustements fins et de puissants algorithmes de modélisation. Cependant, ceci expose également la limite des actuels modèles linguistiques (LLM) : ils peinent à effectuer des étapes multiples et à combiner différents concepts abstraits, surtout lorsqu’il s'agit de créativité. Au fil des 10 questions que l’IA a réussies à résoudre, Jasper constate que ces problèmes nécessitaient une combinaison de raisonnements complexes et d’approches novatrices. Pourtant, il souligne que "le système d'IA actuel montre encore ses limites en matière de pensée originale et de raisonnement profond.” De manière plus inquiétante, He, un autre chercheur impliqué, exprime sa préoccupation concernant la confiance excessive de l'IA : "Il existe des preuves rigoureuses, des preuves indirectes, et ensuite des preuves fantaisistes. Si vous accordez trop de poids à l’une de ces preuves, il y a un risque de nuire." He estime que "o4-mini a déjà acquis une certaine compétence en preuve fantaisiste ; chaque étape semble être pleine de conviction." En conclusion, Jasper met en lumière l’avancée significative des IA au cours des deux dernières années, mais souligne que les modèles linguistiques actuels, bien qu'ils soient efficaces pour certains types de tâches, restent limités en termes de capacité de raisonnement profond et d’originalité. Les IAs ne peuvent pas encore produire des résultats mathématiques complètement originaux, mais elles sont devenues très habiles à rassembler et à synthétiser des informations pertinentes et à proposer des solutions initiales. La surveillance humaine, particulièrement en termes de vérification et de validation, reste indispensable. D’après Jasper, dans les prochaines années, l’IA pourrait devenir un "assistant" précieux pour les mathématiciens, aidant à découvrir de nouvelles théories et à résoudre des problèmes ouverts, comme l’a fait la collaboration entre DeepMind et des chercheurs en théorie des nombres. Ensuite, l’IA devra évoluer et être capable de travailler comme un partenaire véritablement collaboratif, avant de pouvoir fonctionner indépendamment pour pousser les frontières de la recherche mathématique. Références : 1. Scientific American: Inside the Secret Meeting Where Mathematicians Struggled to Outsmart AI 2. Twitter: @zjasper666

Related Links