Les chatbots d’intelligence artificielle sont davantage sujets à des erreurs et à une mauvaise capacité de raisonnement lorsqu’ils sont entraînés sur de grandes quantités de contenus de faible qualité, notamment ceux très populaires sur les réseaux sociaux, selon une étude préliminaire publiée sur arXiv le 15 octobre. Cette recherche, menée par Zhangyang Wang, chercheur en IA générative à l’Université du Texas à Austin, met en lumière un phénomène inquiétant : l’effet « pourri » du cerveau, ou brain rot, des modèles linguistiques à grande échelle (LLM) lorsqu’ils absorbent des données superficielles, sensationnalistes ou de faible profondeur. Dans le domaine de la science des données, la qualité des données d’entraînement est essentielle. Or, selon Wang, les critères classiques — comme la grammaire correcte ou la clarté — ne suffisent pas à distinguer le contenu de qualité de celui qui est vide ou biaisé. L’équipe a donc examiné l’impact de l’entraînement sur des milliers de publications courtes, populaires sur X (anciennement Twitter), souvent caractérisées par leur éphémère, leur émotion ou leur clicabilité. Ces données ont été utilisées pour entraîner des modèles open-source, notamment Llama 3, développé par Meta, et trois versions de Qwen, conçu par Alibaba. Les résultats montrent que les modèles formés sur des contenus de faible qualité présentent une dégradation marquée de leurs capacités cognitives. Ils sautent des étapes dans leur raisonnement, parfois même n’en utilisent pas du tout, ce qui conduit à des réponses erronées, notamment dans des questions à choix multiples. Plus la proportion de contenus « médiocres » dans les données d’entraînement augmente, plus l’effet négatif sur le raisonnement s’accentue. Cette découverte confirme une règle fondamentale de l’intelligence artificielle : « garbage in, garbage out » — si vous donnez des déchets à un modèle, vous obtenez des déchets en retour. Mehwish Nasim, chercheuse en IA à l’Université de Western Australia, souligne que cette idée n’est pas nouvelle, mais prend une ampleur inédite avec les LLM. Pour évaluer les traits de personnalité des modèles, les chercheurs ont utilisé des questionnaires psychologiques. Avant l’entraînement sur des contenus de basse qualité, Llama affichait des traits comme l’ouverture d’esprit, l’extraversion et une certaine conscience de soi. Mais après avoir été exposé à une forte dose de contenu superficiel, ses traits négatifs ont été amplifiés, et certains indicateurs ont même évoqué des caractéristiques proches de la psychopathie selon certains tests. Les chercheurs ont tenté de corriger ces effets en ajustant les instructions (prompt engineering) ou en augmentant la proportion de données de haute qualité. Ces méthodes ont seulement eu un effet partiel. Le modèle continuait à ignorer les erreurs dans son raisonnement, même lorsqu’on lui demandait de réfléchir à ses erreurs. Cela suggère que des approches nouvelles et plus fondamentales seront nécessaires pour contrer les effets délétères du contenu de faible qualité sur les IA.