La mise en production d'agents d'IA rencontre souvent un obstacle majeur : l'absence de cadres d'évaluation robustes capables de mesurer la fiabilité en temps réel. Après une expérience critique où l'impossibilité de détecter les hallucinations d'un agent a failli annuler un projet, notre équipe a développé un cadre de 12 métriques basé sur plus de 100 déploiements d'agents d'entreprise. Ce système permet de valider la conformité, la précision et la performance avant le lancement. Le cadre se divise en quatre catégories essentielles. La première concerne la récupération de l'information (RAG). Elle inclut la pertinence du contexte (>0,85), le rappel du contexte (>0,90) pour éviter les informations manquantes, la précision du classement des résultats (>0,80) et la latence de récupération (<200 ms à 95%). Une mauvaise récupération en amont rend tout le reste inutile, quelle que soit la qualité du modèle génératif. La deuxième catégorie se concentre sur la génération de la réponse. La fidélité de la réponse (>0,95) mesure si le modèle ne contredit pas le contexte fourni, une exigence critique pour les secteurs régulés. La pertinence de la réponse (>0,90) assure que le modèle répond bien à la question de l'utilisateur sans s'égarer. Enfin, le taux d'hallucination doit rester inférieur à 2 % en production pour maintenir la confiance. Ces métriques sont généralement évaluées à l'aide de modèles d'évaluation par un autre modèle. La troisième catégorie est spécifique aux agents autonomes. La précision de la sélection des outils (>0,92) vérifie si l'agent choisit la bonne fonction pour l'intention de l'utilisateur. Le succès de l'exécution des outils (>0,98) mesure les erreurs d'appel d'API ou de formatage des arguments. La cohérence multi-étapes (>0,85) garantit que l'agent maintient un flux logique cohérent lors de plans complexes en plusieurs étapes. La quatrième catégorie couvre les métriques de production réelles. Le coût par requête doit être maîtrisé, idéalement inférieur à 0,05 $ pour les produits grand public, pour assurer la viabilité économique. La latence P99 (temps de réponse pour 99 % des requêtes) ne doit pas dépasser 3 secondes pour les agents conversationnels afin d'éviter la frustration des utilisateurs. La plupart des équipes échouent en reportant l'évaluation jusqu'à la mise en production, en se fièrent uniquement à des ensembles de test statiques, ou en tentant des vérifications manuelles non scalables. Pour remédier à cela, une mise en œuvre progressive est recommandée. Les premières semaines doivent se concentrer sur les métriques de récupération et de fidélité. Lors du lancement pilote, il faut ajouter le suivi des hallucinations et de la sélection d'outils. En phase stable, les coûts et la latence sont optimisés. Bien que des outils open-source comme Ragas ou TruLens couvrent certaines métriques de récupération, aucun ne propose une vision unifiée des 12 indicateurs, en particulier pour les comportements d'agents spécifiques. L'implémentation complète nécessite environ deux à trois semaines de travail d'ingénierie. Bien que l'évaluation par intelligence artificielle ajoute un coût estimé entre 30 et 50 % du budget d'inférence, elle est indispensable pour prévenir des incidents majeurs et protéger la réputation de l'entreprise. Dans l'ère actuelle, la différenciation ne réside pas dans le modèle utilisé, mais dans la rigueur de l'infrastructure d'évaluation mise en place.