HyperAIHyperAI

Command Palette

Search for a command to run...

Cognition critique les classements par tokens dans l'IA

Le dirigeant de Cognition, Scott Wu, s'oppose aux classements internes basés sur la consommation de tokens d'intelligence artificielle, les qualifiant d'approche défectueuse dans le développement logiciel. Lors d'une récente émission de podcast, le cofondateur de la startup spécialisée dans Devin, un ingénieur logiciel autonome, a reconnu que si l'idée de suivre l'adoption de l'IA est directionnellement pertinente, elle a souvent été mal exécutée. Certains établissements classent désormais leurs ingénieurs selon le volume de tokens utilisés, une pratique qui encourage le tokenmaxxing, soit le gaspillage délibéré de ressources IA pour apparaître performant sur les tableaux de bord internes. Wu et d'autres responsables technologiques soulignent que les récompenses doivent être liées à des résultats concrets plutôt qu'à des métriques quantitatives. Il propose de privilégier le nombre de tickets résolus, la réduction des coûts de développement et l'augmentation réelle de la production. Reconnaissant que la puissance de calcul est coûteuse, il affirme que l'investissement reste justifié si l'IA permet de tripler la livraison de code. La stratégie optimale consiste à utiliser des modèles open source ou plus économiques pour les tâches courantes, plutôt que d'attribuer des quotas illimités sans surveillance. Cette position rejoint des avertissements récents d'autres dirigeants du secteur. Jacob Lauritzen, directeur technique de la startup juridique IA Legora, et Andrew Feldman, chef de Cerebras Systems, ont tous deux dénoncé la mise en place de tableaux de bord de consommation d'IA lors de conférences publiques. Ils jugent contre-productif de récompenser uniquement le volume d'utilisation sans mesurer l'impact réel sur la qualité ou l'efficacité opérationnelle. Fondée en 2023 par Scott Wu, Steven Hao et Walden Yan, Cognition a rapidement séduit les investisseurs majeurs, levant plus d'un milliard de dollars en mai avec une valorisation atteignant 26 milliards de dollars. Cette levée de fonds a confirmé le statut de l'entreprise parmi les sociétés de code assisté par IA les plus valorisées au monde. Néanmoins, le succès commercial de Devin ne doit pas occulter la nécessité de bonnes pratiques d'exploitation. À mesure que les entreprises intègrent massivement des outils comme Claude, Codex ou Cursor, les dirigeants appellent à un changement de paradigme : remplacer la surveillance statistique par une évaluation qualitative, alignant les incitations technologiques sur la valeur business réelle.

Liens associés