Karpathy警醒:AGI仍需十年,智能体的三大认知缺陷暴露行业狂热泡沫
Dans un contexte où l’arrivée de l’Intelligence Générale Artificielle (AGI) est souvent annoncée comme immédiate, Andrej Karpathy, ancien directeur de l’IA chez Tesla et membre fondateur d’OpenAI, a lancé un appel à la prudence. Dans une longue interview diffusée sur le podcast de Dwarkesh Patel, puis résumée dans un article détaillé, il affirme que l’AGI « restera encore dix ans » à venir — une estimation optimiste, mais qui exige une réévaluation rigoureuse des attentes actuelles. Karpathy, qui a passé plus de deux décennies à la pointe du développement technologique, met en garde contre une surestimation généralisée des progrès récents. Il souligne que, malgré les avancées spectaculaires des grands modèles linguistiques (LLM), les agents intelligents actuels — censés remplacer des stagiaires, voire des employés — sont encore loin d’être fonctionnels. Leur principal défaut ? Une absence de véritable apprentissage continu, une incapacité à intégrer durablement de nouvelles connaissances, et une compréhension limitée des tâches personnalisées. L’expérience de Tesla en conduite autonome, qu’il a dirigée pendant cinq ans, illustre parfaitement cette réalité. Malgré des démonstrations impressionnantes — comme celle de Waymo en 2014 —, la transition entre un prototype fonctionnel et un système fiable à grande échelle s’est révélée extrêmement difficile. Karpathy utilise la métaphore des « trois neufs » : atteindre 90 % de fiabilité est relativement facile ; passer à 99 % demande autant d’efforts que les deux premiers étapes combinés ; atteindre 99,9 % exige encore une quantité équivalente de travail. Cette courbe de progression en « décroissance exponentielle » s’applique aussi aux agents IA, surtout dans des domaines critiques comme le développement logiciel. Un « programmeur IA » qui commet une erreur majeure tous les sept ans — une fréquence comparable aux accidents dans la conduite autonome — pourrait compromettre des millions de données personnelles. Karpathy critique également l’idée selon laquelle l’IA pourrait s’améliorer elle-même de manière récursive, en écrivant ses propres codes. Son expérience personnelle de création de nanochat, une version simplifiée de ChatGPT, montre que les assistants IA échouent lamentablement lorsqu’il s’agit de concevoir du code original, non standard. Il les qualifie de « produits de mauvaise qualité » (slop), pointant trois défauts majeurs : 1. Incapacité à comprendre les solutions personnalisées : quand il a évité l’API standard PyTorch DDP pour implémenter sa propre synchronisation, l’IA a tenté de le forcer à revenir aux bibliothèques officielles. 2. Code surdimensionné et obsolète : les suggestions sont souvent pleines de blocs try-catch inutiles et utilisent des API dépréciées. 3. Coût élevé de communication : expliquer ses intentions en langage naturel (« vibe coding ») est inefficace comparé à une saisie rapide avec complétion automatique. Pour Karpathy, l’IA actuelle n’est pas un programmeur autonome, mais plutôt un compilateur amélioré ou un outil de surlignage syntaxique. Il préfère la métaphore du « curseur d’autonomie » : nous sommes encore très loin du haut de la plage, et la progression est progressive. Il rejette aussi l’apprentissage par renforcement (RL) comme méthode principale, jugé inefficace, bruité et sujet aux erreurs de récompense. À la place, il plaide pour des paradigmes plus prometteurs : l’apprentissage par prompt systémique et l’interaction agente, où les modèles apprennent via des tâches répétées et des boucles de feedback. Il voit déjà dans le système de mémoire de ChatGPT une première version de ce modèle. Il introduit également le concept de Cognitive Core : en limitant intentionnellement la mémoire des modèles, on pourrait forcer une meilleure abstraction, similaire à la manière dont l’humain, avec une mémoire limitée, développe une pensée plus profonde. Il affirme même que « les modèles doivent d’abord devenir plus grands pour ensuite devenir plus petits » — une phase de diversité avant la simplification. Sur le plan économique, Karpathy émet une idée provocatrice : l’AGI ne provoquera pas d’explosion du PIB. Il estime que son impact s’intégrera progressivement dans la courbe historique de croissance de 2 % par an. Comme les ordinateurs, Internet ou l’iPhone, l’IA n’est pas une rupture radicale, mais une extension continue du calcul. « Nous vivons déjà une explosion de l’intelligence depuis des décennies », dit-il, « nous la vivons simplement au ralenti ». Enfin, Karpathy annonce son nouveau projet éducatif, Eureka, inspiré de l’Académie de la Flotte stellaire. Son objectif ? Former une élite humaine capable de maîtriser les technologies futures. Il craint moins une IA incontrôlée qu’un futur comme dans WALL-E ou Idiocracy : des humains désengagés, dépossédés de leur pouvoir. Pour lui, l’éducation du futur ne doit pas viser la rentabilité, mais le plaisir, la curiosité, la beauté — comme aller à la salle de sport non pas pour être fort, mais parce que c’est gratifiant. L’IA, dans ce scénario, n’annulera pas l’effort humain, mais l’émancipera, permettant une « floraison cognitive surhumaine ».
