Une nouvelle étude de OpenAI révèle que les hallucinations des modèles d’intelligence artificielle, comme ChatGPT, ne sont pas simplement des erreurs évitables, mais un phénomène mathématiquement inévitable. L’analyse montre que même avec des données d’entraînement parfaites, les modèles linguistiques génératifs, qui prédisent chaque mot en fonction de probabilités, accumulent des erreurs au fil de la génération de phrases. Le taux d’erreurs dans les réponses complètes est au moins deux fois plus élevé que pour des questions simples du type oui/non, car chaque prédiction peut introduire une dérive. Plus un fait est rare dans les données d’entraînement, plus le risque de hallucination est élevé : par exemple, si 20 % des dates de naissance de personnalités apparaissent une seule fois dans les données, le modèle devrait se tromper au moins 20 % du temps. Des tests sur l’année de naissance d’Adam Kalai, co-auteur de l’étude, ont révélé que DeepSeek-V3 a fourni trois dates erronées différentes, aucune n’étant proche de la réalité (automne). Le problème est exacerbé par les méthodes d’évaluation utilisées. L’étude examine dix grands benchmarks, dont ceux de Google et OpenAI, et constate que neuf d’entre eux utilisent un système de notation binaire : une réponse incertaine ("je ne sais pas") est pénalisée comme une fausse réponse. Cela crée un « piège d’évaluation » où la stratégie optimale pour obtenir un bon score est de toujours deviner, même si l’on est incertain. Mathématiquement, le gain attendu d’un « devin » dépasse toujours celui d’un système qui s’abstient. OpenAI propose une solution : intégrer une estimation de confiance dans les réponses, en demandant au modèle de ne répondre que si sa certitude dépasse un seuil (ex. : 75 %). Cette approche réduirait les hallucinations. Mais elle aurait un impact dévastateur sur l’expérience utilisateur. Si ChatGPT disait « je ne sais pas » pour 30 % des requêtes — une estimation raisonnable selon l’étude — les utilisateurs, habitués à des réponses confiantes, abandonneraient rapidement le système. Cela se vérifie dans des projets réels : dans un projet de surveillance de la qualité de l’air à Salt Lake City, les utilisateurs interagissent moins avec des indicateurs marquant une incertitude, même si ces derniers sont plus fiables que les lectures certitudes erronées. Un obstacle encore plus sérieux est économique. Les modèles capables d’évaluer leur propre incertitude nécessitent bien plus de calculs, car ils doivent explorer plusieurs réponses possibles et estimer leur fiabilité. Pour des systèmes traitant des millions de requêtes quotidiennes, cela entraînerait une hausse drastique des coûts opérationnels. Des méthodes comme l’apprentissage actif, où l’IA pose des questions pour clarifier, améliorent la précision mais augmentent encore davantage la charge computationnelle. Ces approches sont justifiables dans des domaines critiques (diagnostic médical, trading financier), où le coût d’une erreur est énorme. Mais pour les applications grand public, où la rapidité prime, elles restent économiquement inviables. En résumé, l’étude d’OpenAI expose une contradiction fondamentale : les incitations commerciales en faveur des réponses rapides et confiantes sont en désaccord total avec la réduction des hallucinations. Tant que les benchmarks récompensent le devin et que les utilisateurs fuient l’incertitude, les modèles continueront à mentir avec assurance. Même si les coûts énergétiques et les performances matérielles évoluent, la différence de charge computationnelle restera significative. Pour que les hallucinations disparaissent, il faudra non seulement des avancées techniques, mais une réforme profonde des mécanismes d’évaluation et des attentes des utilisateurs.