Une entreprise SaaS a réduit de plus de la moitié sa facture d’inférence IA en déployant un routeur de requêtes. Simple et efficace en apparence, ce système oriente les demandes courtes vers des modèles économiques et réserve les cas complexes à des modèles performants. Au bout de trois mois, le bilan s’avère catastrophique. La satisfaction client s’effondre, le désabonnement progresse et les économies initiales sont annulées par des coûts de support humain et de rétention multipliés par quatre ou cinq. Ce scénario, confirmé par plusieurs audits sectoriels, révèle un piège structurel nommé trappe de Pareto. Les tableaux de bord agrégés ont masqué la dégradation des modèles économiques. En pratique, ces derniers réussissaient bien sur la majorité des requêtes simples, mais échouaient de façon opaque sur les cas ambigus situés dans la longue traîne de la distribution. Les classificateurs initiaux ne parvenaient pas à distinguer la forme linguistique de l’intention réelle. Les clients recevaient ainsi des réponses confidentielles mais erronées, les conduisant vers le support téléphonique. Sans visibilité segmentée, les équipes techniques n’ont détecté l’anomalie qu’après un trimestre complet. Trois facteurs alimentent ce phénomène. La forme d’une requête ne prédit pas sa complexité sous-jacente. Les petits modèles produisent fréquemment des erreurs avec une assurance trompeuse, contrairement aux grands modèles qui savent exprimer leur incertitude. Enfin, la distribution des requêtes évolue continuellement, désamorçant progressivement la précision du routeur formé sur des données historiques. Dans les secteurs réglementés, ces lacunes peuvent même créer des risques de conformité majeurs. Pour contourner ce problème, l’architecture de surveillance doit être revue avant le déploiement. Une métrique segmentée par modèle, un suréchantillonnage des requêtes à faible confiance et un suivi de la dérive du classificateur permettent d’identifier les dérives en quelques jours. Plutôt que de classifier à l’avance, les ingénieurs doivent adopter une cascade basée sur l’incertitude. Chaque demande passe d’abord par le modèle économique ; si sa confiance est insuffisante, le système le transfère automatiquement vers le modèle performant. Cette méthode inverse la logique d’échec, garantit un socle de qualité supérieur et génère des économies comparables, malgré une latence légèrement plus élevée sur les cas complexes. Ces retours d’expérience démontrent que l’optimisation budgétaire en production exige un arbitrage architectural. S’appuyer sur un classificateur externe expose à des régressions silencieuses. Confier au modèle lui-même sa propre évaluation garantit la résilience du produit. Dans les déploiements d’IA à grande échelle, la transparence des données et la robustesse des mécanismes de routage l’emportent nettement sur la réduction immédiate des coûts.