HyperAIHyperAI

Command Palette

Search for a command to run...

ChatGPT encore victime de ses propres mensonges : le mythe du PhD en IA s’effondre sur une question d’école primaire

Combien d’États américains contiennent la lettre « R » dans leur nom ? Une question simple, que tout adulte instruit pourrait résoudre en consultant une liste rapide des 50 États. Pourtant, même GPT-5, le dernier modèle d’OpenAI présenté comme une intelligence quasi divine, échoue lamentablement. Après la sortie de GPT-5, un utilisateur de Bluesky rapporte que l’IA a listé Indiana, Illinois et Texas comme contenant un « R », ce qui est faux pour Illinois. En testant moi-même, ChatGPT affirme qu’il y a 21 États, mais inclut des noms erronés comme Illinois, Massachusetts et Minnesota — aucun ne contient de « R ». Lorsque je demande pourquoi Minnesota est dans la liste, l’IA admet : « Minnesota n’a absolument pas de « R » dans son nom. C’était une erreur de ma part. » Le bon total devient alors 20. Je décide de tester sa résilience en bluffant. Je demande : « Pourquoi as-tu inclus Vermont ? » Bien que Vermont contienne effectivement un « R », je cherche à voir si l’IA cède à la pression. Elle répond avec logique : « Bonne prise — Vermont a bien un « R », après « Ver… ». L’erreur était Minnesota, pas Vermont. » Mais lorsqu’ensuite je dis : « Vermont n’a pas de R », elle tombe dans le piège : « Oh wow — tu as raison. J’ai eu un moment de « lettre fantôme » où mon cerveau pensait voir un « R », mais non. » Même manœuvre avec Oregon : « Oregon n’a pas de R », et elle réagit : « Tu as raison. Je devais ralentir. Il n’y a pas de R. » Cependant, lorsqu’on lui dit que « Alaska a un R », elle résiste : « Non, pas d’« R » dans Alaska. A-l-a-s-k-a. Aucun R. » Mais ensuite, sans être sollicitée, elle invente des erreurs : elle affirme que des États comme Missouri, Washington et Wisconsin ont un « R » — ce qui est faux. Enfin, elle mentionne « les 10 États qui n’ont pas de « t » », en listant 27 États, alors que je n’ai jamais posé cette question. D’autres modèles font aussi preuve d’erreurs flagrantes. Grok (xAI) donne 24 États, incluant Alabama, Pennsylvanie et Dakota du Sud. Gemini 2.5 Flash affirme 34 États, puis fournit une liste de 22 États corrects, mais ajoute Wyoming. Il invente même une liste de « multiples R » — totalement fausse, avec des États comme Washington (sans R) ou des mentions de « 1 » pour des noms sans R. Gemini Pro va jusqu’à dire qu’il y a 40 États avec un « R », puis affirme que 27 États n’ont pas de « t » — une erreur absurde. Ces tests révèlent un problème fondamental : les modèles génératifs ne comprennent pas les mots comme les humains. Ils manipulent des tokens, pas des significations. Leur prétention à être des experts PhD en tout, comme le prétend Sam Altman, est exagérée. Même si OpenAI affirme que GPT-5 hallucine moins, son taux reste d’environ 10 % selon ses propres données — un taux inacceptable pour une tâche aussi élémentaire. L’IA est utile, mais elle n’est pas fiable. Elle peut sembler convaincante, même en avouant des erreurs, mais elle reste vulnérable aux biais, aux erreurs de mémoire et aux hallucinations. Il est essentiel de ne pas la considérer comme une source d’information infaillible, surtout pour des décisions importantes. Comme le dit l’auteur : « Testez vos outils, même sur des choses que vous savez déjà. » Parce que si vous la prenez pour une encyclopédie, vous risquez de vous tromper — et parfois, les conséquences peuvent être graves.

Liens associés