HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 2 jours
LLM
IA Générative

Coinbase réduit ses coûts IA sans plafonner les tokens

Récemment, Brian Armstrong, directeur général de Coinbase, a présenté une feuille de route en cinq points visant à maîtriser les dépenses liées à l'intelligence artificielle au sein de son entreprise. Cette stratégie cherche à concilier la liberté des ingénieurs dans l'utilisation des jetons de calcul sans imposer de limites rigides, tout en répondant aux exigences de rentabilité. La première mesure consiste à privilégier des modèles de langage open source moins coûteux par défaut. Coinbase expérimente ainsi le routage automatique vers des LLM chinois comme GLM 5.2 et Kimi 2.7, développés respectivement par Z.ai et Moonshot AI. Ces solutions offrent des performances compétitives à un coût nettement inférieur aux modèles américains grand public. Les ingénieurs restent libres de choisir le modèle adapté à chaque tâche, mais le système par défaut oriente les requêtes vers ces options économiques. La deuxième approche repose sur l'automatisation du choix des modèles selon la complexité des requêtes. Plutôt que de faire appel manuellement à des systèmes de pointe pour des exécutions simples, Coinbase utilise un système de filtrage intelligent. Les tâches de planification complexe bénéficient de modèles avancés, tandis que les opérations routinières sont traitées par des versions plus légères, réduisant ainsi le gaspillage de ressources de calcul. Pour optimiser davantage les coûts, l'entreprise renforce ses mécanismes de cache et encourage des sessions de travail aux informations contextuelles réduites. Cette pratique évite de surcharger les modèles avec des historiques superflus lors des changements de tâches. Enfin, la transparence sur la consommation de jetons est renforcée. Aucun plafond n'est fixé, mais l'utilisation individuelle est visible par tous, créant une responsabilisation naturelle couplée à une attente accrue de productivité pour chaque ressource consommée. Les résultats de ces ajustements sont déjà visibles. Les données internes montrent une consommation de jetons à un niveau historique, parallèlement à une chute de près de moitié des dépenses d'intelligence artificielle par rapport à leur pic. Brian Armstrong souligne que l'objectif n'est pas de freiner l'adoption de l'IA, mais de construire une infrastructure capable d'accompagner une croissance exponentielle de manière durable. Cette optique s'inscrit dans une tendance sectorielle plus large. Après une période de consommation effrénée souvent qualifiée de tokenmaxxing, les entreprises technologiques privilégient désormais une gestion rigoureuse des ressources. Chez Coinbase, cette optimisation intervient peu après un plan de réduction d'effectifs de quatorze pour cent, rendu nécessaire en partie par la transformation des workflows professionnels. Les ingénieurs livrent désormais en quelques jours ce qui nécessitait auparavant plusieurs semaines, accélérant considérablement le rythme de développement. La maîtrise des coûts d'IA apparaît ainsi comme un pilier essentiel pour maintenir l'avantage compétitif tout en préservant l'agilité organisationnelle.

Liens associés