Cofondateur d'OpenAI, Andrej Karpathy : "Il faut garder l'IA en laisse car elle fait encore des erreurs inhumaines"

"Rester prudence avec l'IA" : Andrej Karpathy exhorte à une utilisation supervisée Andrej Karpathy, copropriétaire d'OpenAI, a tiré la sonnette d'alarme sur les dangers d'une IA mal supervisée lors d'une conférence organisée par Y Combinator. Selon le chercheur en informatique, bien que les modèles de langage actuels soient impressionnants, ils doivent être maintenus sous contrôle car ils sont loin d'être parfaitement fiables. IA sous surveillance Karpathy a mis en garde contre l'excès d'enthousiasme entourant les agents d'IA, particulièrement ceux qui opèrent sans surveillance. Il invite les développeurs à "garder l'IA en laisse". Les modèles de langage actuels, bien qu'ils affichent des performances remarquables, commettent encore des erreurs que jamais un humain n'aurait faites. Il a comparé ces modèles à des "esprits humains", simulacres perturbants de l'intelligence humaine capable de générer des faits inexacts, de manquer d'autoknowledge (capacité de connaître et comprendre ses propres limitations) et de souffrir d'"amnésie". Exemples de dysfonctionnement Lors de sa présentation publiée sur la chaîne YouTube de Y Combinator, Karpathy a fourni des exemples concrets de ces erreurs : "Les modèles peuvent affirmer que 9.11 est supérieur à 9.9, ou que 'strawberry' (fraise) contient deux fois la lettre 'r'", a-t-il déclaré. Même si ces modèles peuvent produire des milliers de lignes de code en quelques secondes, il reste essentiel que les développeurs surveillent leur travail pour éviter l'introduction de bugs. Ralentir et être précis Karpathy a exhorté les développeurs à adopter une approche plus mesurée et méthodique. Il conseille d'utiliser des prompts plus concrets et de travailler par étapes incrémentielles pour assurer une meilleure vérification et validation. "Il est préférable d'investir un peu plus de temps pour formuler ses instructions de manière précise, ce qui augmente la probabilité d'un résultat satisfaisant", a-t-il souligné. Cette méthode, nommée "vibe coding" par Karpathy, implique de laisser libre cours à l'imagination tout en restant vigilent et methodique. Une necessity croissante de supervision Karpathy n'est pas le seul à s'inquiéter. Bob McGrew, ancien responsable de la recherche chez OpenAI, a également appelé à la prudence lors d'une émission du podcast "Training Data" de Sequoia Capital. Selon lui, les ingénieurs humains demeurent essentiels non seulement pour guider l'IA mais aussi pour intervenir lorsque les choses se compliquent. Lorsque des problèmes techniques surviennent ou si un projet devient trop complexe pour que l'IA puisse le comprendre, c'est au développeur humain de prendre le relais et de décomposer le problème de façon à ce que l'IA puisse y répondre efficacement. Analogies de l'IA comme "génie" Kent Beck, l'un des coauteurs du manifeste agile, a utilisé une analogie similaire. L'IA agit parfois comme un "génie" qui accorde vos souhaits, mais pas toujours comme vous l'auriez souhaité. Beck a expliqué : "L'IA ne fera pas exactement ce que vous voulez qu'elle fasse. Elle a sa propre agenda." Les résultats varient tant que l'utilisation de l'IA pour coder peut ressembler à du jeu de hasard. L'IA déjà largement utilisée Bien que ces experts mettent en garde contre les limites de l'IA, de grandes entreprises technologiques continuent d'en intégrer l'utilisation dans leurs processus de développement. Sundar Pichai, PDG d'Alphabet (la société mère de Google), a révélé lors du dernier appel aux résultats de son entreprise que plus de 30% du nouveau code d'Alphabet était écrit par des systèmes d'IA, contre 25% l'an dernier. Malgré cette croissance notable, Pichai reconnaît l'importance de maintenir une supervision humaine pour assurer la qualité et la fiabilité du code produit. Évaluation par l'industrie L'industrie de la technologie est à la croisée des chemins, avec des acteurs clefs qui exploitent les capacités de l'IA tout en soulignant ses imperfections. La balance penche donc en faveur d'une utilisation prudente, supervisée et incrémentale. Karpathy, McGrew et Beck partagent l'avis que, pour l'instant, l'IA reste un puissant outil qui nécessite une main ferme pour éviter d'introduire des erreurs critiques ou des bogues de sécurité. Profil d'OpenAI OpenAI, fondée en 2015, est un institut de recherche avancé en intelligence artificielle. Ses objectifs initiaux étaient d'explorer les potentialités de l'IA tout en veillant à son utilisation éthique et bénéfique pour l'humanité. Avec des personnalités comme Andrej Karpathy, le laboratoire continue de jouer un rôle crucial dans l'élaboration de lignes directrices pour l'intégration de l'IA dans divers domaines tout en insistant sur la nécessité de précautions et de supervision. En conclusion, alors que l'IA offre des perspectives fascinantes, des figures respectées du domaine scientifique et technique soulignent la nécessité de maintenir un contrôle rigoureux et une supervision humaine pour éviter des erreurs potentiellement graves. L'équilibre entre innovation et prudence reste un défi crucial pour l'industrie de l'IA.