La nouvelle fonctionnalité AI Overview de Google a commis une série d'erreurs élémentaires dans les résultats de recherche, laissant ses utilisateurs entre le rire et l'indignation. Selon TechCrunch, lorsqu'on lui demandait « combien de fois la lettre P apparaît-elle dans le mot "Google"? », l'intelligence artificielle répondait « deux » alors qu'il n'y en a qu'une seule. De plus, elle affirmait que le mot « poop » contient exactement un r, ou bien que « journalism » comporte deux d (alors que son orthographe correcte est journalism). Elle a même transcrit mal le nom de famille de l'ex-président américain Trump sous la forme « trpum ». Ces erreurs, apparemment comiques, révèlent des défauts inhérents aux grands modèles de langage (GML) — LLM en anglais. Les chercheurs soulignent que ces systèmes reposent sur une architecture Transformer qui découpe le texte en unités appelées « tokens » pour traitement, plutôt que de lire caractère par caractère comme le font les humains. Ainsi, lorsque l'IA rencontre le mot « the », elle ne reconnaît qu'un seul encodage global sans percevoir individuellement les lettres t, h et e. Selon Sheridan Feucht, doctorante à l'Université Northeastern, il n'existe pas de méthode parfaite de segmentation en tokens. Matthew Guzdial, professeur adjoint à l'Université d'Alberta, estime également que cette lacune sera difficile à éradiquer à court terme. En réalité, ce type d'erreur n'est pas nouveau : précédemment, certains moteurs de recherche alimentés par IA avaient cité du contenu satirique provenant de sites ironiques, suggérant même de manger des pierres ou d'étaler de la colle sur une pizza. En réponse, Google a indiqué que le comptage constitue effectivement un problème connu et que des corrections sont en cours. Toutefois, la persistance de telles fautes nous rappelle que l'IA n'est pas infaillible et que sa production doit toujours être vérifiée avec prudence.