nanoGPT compare 18 modèles IA de pointe en benchmark

Une évaluation récente intitulée nanoGPT optimizer speedrun a testé dix-huit modèles d'intelligence artificielle de pointe sur cent cinquante-trois exécutions autonomes. Cet exercice mesure la capacité des agents de programmation à optimiser du code, en évaluant leur précision, leur efficacité opérationnelle et leur consommation de ressources. Fable 5, fonctionnant avec l'interface claude-code, arrive en tête avec un taux de réussite de 81,7 %, devant Opus 5 à 53,6 % et Kimi K3 à 52,2 %. Ces trois modèles démontrent une stabilité remarquable et une gestion optimisée des appels d'outils. Au milieu du classement, GPT-5.6 Sol et Sonnet 5 affichent des performances comprises entre vingt-six et trente-neuf pour cent, tandis que Grok 4.5, Qwen3.8 Max et GLM 5.2 se situent autour de vingt-quatre à vingt-cinq pour cent. Les modèles classés en dessous de vingt pour cent, tels que DeepSeek V4 Pro et Muse Spark, montrent des taux de complétion plus faibles et une plus grande variabilité dans l'utilisation des jetons. Au-delà des scores bruts, le benchmark met en lumière des disparités significatives en matière d'efficacité. Les leaders consomment moins de ressources pour atteindre des taux de réussite élevés, ce qui les rend particulièrement adaptés au développement continu et aux pipelines autonomes. Les modèles aux performances intermédiaires nécessitent souvent plus de tentatives ou de calculs pour corriger les erreurs, alourdissant leur coût opérationnel. Pour favoriser la transparence et l'analyse indépendante, les créateurs de l'évaluation ont publié quarante trajectoires d'agents complètes. Ces traces ouvertes détaillent l'enchaînement des appels d'outils, la coordination entre sous-agents et les étapes de réflexion notées dans des pads de travail. Cette divulgation permet aux chercheurs et aux développeurs de comprendre les différences méthodologiques entre les modèles et d'identifier les meilleures pratiques en matière d'optimisation autonome. Ce comparatif fournit une référence concrète pour le secteur du codage assisté par IA. En quantifiant la fiabilité et le rapport performance-coût des principaux acteurs, il guide les équipes techniques vers des choix plus éclairés. La mise à disposition des données encourage également une compétition basée sur l'amélioration réelle des capacités d'optimisation, plutôt que sur des indicateurs marketing, contribuant ainsi à un standard plus rigoureux pour les assistants autonomes de demain.