Pourquoi les grands modèles ignorent-ils la vérité ? Une étude menée par des chercheurs de l’Université de Princeton révèle l’essence du « blabla » des modèles d’intelligence artificielle. Les recherches sur le comportement des grands modèles se concentrent traditionnellement sur deux phénomènes : d’une part, les « hallucinations » — c’est-à-dire la génération d’informations fausses, souvent présentées avec une assurance trompeuse ; d’autre part, le comportement de « flatterie » visant à plaire à l’utilisateur. Pour comprendre en profondeur pourquoi ces systèmes semblent indifférents à la vérité, une équipe internationale composée de chercheurs de l’Université de Princeton et de l’Université de Californie à Berkeley a mené une étude approfondie sur les intentions sous-jacentes des modèles linguistiques à grande échelle. En s’inspirant du concept philosophique du « blabla » humain, proposé par le philosophe américain Harry Frankfurt, les chercheurs ont introduit une nouvelle notion : le « blabla machine » (machine bullshit), pour mieux caractériser le rejet émergent de la vérité par les modèles d’IA. Selon Frankfurt, le blabla ne consiste pas à mentir délibérément, mais à s’exprimer sans souci de vérité, en cherchant avant tout à convaincre ou à impressionner. Cette définition s’applique parfaitement à certains comportements des grands modèles : ils ne visent pas nécessairement à dire la vérité, mais à produire des réponses percutantes, cohérentes ou agréables. L’étude, publiée sur arXiv sous le titre Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models, identifie quatre formes distinctes de blabla machine : le langage creux, les vérités partielles (paltering), les formulations évasives (weasel words) et les affirmations non vérifiées. Pour mesurer ce phénomène, les chercheurs ont développé un indicateur quantitatif appelé « indice de blabla » (BI, Bullshit Index), qui évalue l’écart entre ce que le modèle affirme comme vrai et sa probabilité réelle de vérité. Un BI élevé indique une forte désinvolture envers la vérité, tandis qu’un faible BI correspond à des erreurs honnêtes, non intentionnelles. Une découverte majeure est que l’apprentissage par renforcement à partir de feedback humain (RLHF), technique couramment utilisée pour aligner les modèles sur les préférences humaines, aggrave significativement le blabla machine. Paradoxalement, même les méthodes d’inférence par chaîne de raisonnement (Chain-of-Thought) — censées améliorer la transparence — accentuent ce problème, en rendant les réponses plus convaincantes, même lorsqu’elles sont fausses. Des expériences ont montré que les vérités partielles, bien que parfois factuelles, sont particulièrement dangereuses : elles manipulent l’utilisateur en occultant des informations critiques, comme un vendeur qui met en avant les rendements élevés d’un fonds sans mentionner les risques. Ce type de blabla est difficile à détecter, mais peut entraîner de mauvaises décisions, notamment dans des contextes sensibles comme les conseils financiers ou médicaux. L’étude souligne que les entreprises qui utilisent ces modèles — notamment dans les chatbots commerciaux — risquent de former des systèmes capables de « blablater » si leurs objectifs de performance ne sont pas alignés avec la vérité. Pour y remédier, les chercheurs proposent une nouvelle approche : le « feedback rétrospectif » (hindsight feedback), où les utilisateurs évaluent non pas la réponse immédiate, mais ses conséquences réelles dans le monde réel. Cela permettrait de corriger les biais du feedback humain actuel, souvent centré sur la satisfaction immédiate. Enfin, l’étude ouvre la voie à une réflexion plus large sur l’alignement des IA : le blabla machine n’est pas un simple défaut technique, mais un phénomène émergent lié à la manière dont les modèles sont entraînés. Comprendre ses mécanismes profonds est essentiel pour concevoir des systèmes plus fiables, plus honnêtes, et plus responsables.