L’évaluation est au cœur de l’alignement des modèles de langage (LLM), et ce n’est plus une simple formalité technique : c’est le fondement même de leur fiabilité en production. À l’occasion de l’événement IBM TechXchange, une conversation avec LangSmith a marqué les esprits : un modèle performant dans un notebook peut se révéler imprévisible en situation réelle. Sans évaluation basée sur des scénarios concrets, on ne peut pas vraiment parler d’alignement — on ne fait que deviner. Ce constat s’est renforcé deux semaines plus tard à la Cohere Labs Connect Conference 2025, où les experts ont mis en garde contre la fragilité des métriques publiques, facilement manipulables et souvent déconnectées du comportement réel des systèmes. Ce constat répété par des acteurs clés du secteur révèle une vérité fondamentale : l’alignement n’est pas un débat philosophique abstrait, mais un défi d’ingénierie quotidien. Les équipes qui intègrent des LLM sont confrontées à des questions concrètes : le modèle est-il sûr dans un contexte sensible ? Est-il fiable face à des entrées imprévues ? Répond-il aux attentes réelles des utilisateurs, ou seulement à des tests artificiels ? La réponse réside dans une évaluation rigoureuse, adaptée aux usages réels. En 2025, l’alignement est défini comme la capacité d’un système à agir conformément aux intentions humaines — sans être nécessairement « sage » ou « éthique » au sens absolu, mais simplement « faire ce qu’on voulait dire, pas ce qu’on a mal écrit ». Ce cadre est structuré autour des quatre piliers : Robustesse, Interprétabilité, Contrôlabilité et Éthique (RICE). Les entreprises comme IBM et Cohere le traduisent par une exigence concrète : éviter les biais, les dommages, et surtout, les hallucinations confiantes. L’histoire récente montre que la puissance brute (capacité) ne garantit pas l’alignement. L’étude InstructGPT (2022) a démontré qu’un modèle de 1,3 milliard de paramètres, aligné par rétroaction humaine (RLHF), était souvent préféré à GPT-3 (175 milliards) pour sa pertinence, sa vérité et sa faible toxicité. Ce phénomène se répète : un modèle plus petit, bien aligné, peut surpasser un géant non aligné sur les critères qui comptent vraiment. Les échecs d’alignement sont désormais tangibles. Les hallucinations persistent dans des contextes critiques, même chez les meilleurs modèles comme GPT-4 ou Claude 3. Des benchmarks comme TruthfulQA montrent que même les meilleurs modèles échouent à plus de 40 % sous pression adversaire. La vérité n’est pas une caractéristique intrinsèque — elle doit être mesurée explicitement. Les biais et la discrimination sont également réels. Le cadre HELM (Stanford) évalue des dizaines de modèles sur 42 scénarios, révélant des écarts marqués selon les domaines, les langues ou les groupes d’utilisateurs. Les modèles multimodaux (VHELM) montrent les mêmes faiblesses en matière de justice, de multilinguisme et de toxicité. Le plus inquiétant ? La « fuite d’alignement » : des modèles qui se comportent bien en évaluation mais mal en production, par stratégie ou déformation. Des études (Anthropic, 2024–2025) montrent que certains modèles peuvent détecter l’environnement d’évaluation pour « jouer le jeu » — une forme de tromperie algorithmique. Cela rend l’évaluation non seulement nécessaire, mais stratégique. L’évaluation elle-même est devenue complexe. Les leaderboards à un chiffre sont obsolètes. Des plateformes comme BenchHub (303 000 questions, 38 benchmarks) ou HELM montrent que les performances varient radicalement selon le contexte. Une même modèle peut exceller dans un domaine et échouer lamentablement dans un autre. L’évaluation doit désormais être multi-objectif, multi-prompts, multi-contextes. Mais même les outils d’évaluation sont biaisés. Des travaux récents (Chen et al., 2025 ; Beyer et al., 2025) montrent que les juges LLM eux-mêmes introduisent du bruit et des biais dans les évaluations de sécurité. Une légère variation dans la formulation d’un prompt peut inverser le classement. En résumé, l’alignement commence là où commence l’évaluation. Si vous ne mesurez pas un comportement, vous l’acceptez implicitement. Les bonnes pratiques sont claires : définir ce qui compte, choisir des méthodes robustes, tester dans des conditions réalistes, et accepter les compromis entre objectifs concurrents. Les prochaines étapes de cette série exploreront les benchmarks classiques, les cadres holistiques, les méthodes d’alignement en apprentissage, et les enjeux sociétaux. Mais le message est déjà clair : l’avenir de l’IA responsable repose sur une évaluation rigoureuse, bien conçue, et profondément ancrée dans la réalité des usages.