AI也患上“脑腐”?研究揭示垃圾数据导致模型认知衰退且无法逆转
L’addiction aux réseaux sociaux chez l’humain, déjà préoccupante, pourrait être dépassée par un phénomène plus inquiétant : l’« atrophie cérébrale » des intelligences artificielles. Ce terme, « brain rot » (« pourriture cérébrale »), désigne la détérioration progressive des capacités cognitives et mentales provoquée par une exposition excessive à des contenus numériques superficiels, fragmentés et de faible qualité. Il a été désigné mot de l’année 2024 par l’Oxford University Press. Alors que les humains subissent cet effet, les modèles de langage à grande échelle (LLM), formés sur des milliards de textes issus d’Internet, sont eux aussi exposés à une quantité massive de « données pourries » — des contenus conçus pour capter l’attention, pas pour enrichir la pensée. Une étude récente menée par des chercheurs de l’Université de Texas A&M, de l’Université du Texas à Austin et de l’Université Purdue suggère que ces modèles, comme les humains, peuvent subir une dégradation cognitive durable, voire irréversible. Les chercheurs ont formulé l’hypothèse de l’« atrophie cérébrale des LLM » : l’apprentissage continu sur des textes de faible qualité du web entraîne une détérioration permanente des capacités cognitives des modèles. Pour la tester, ils ont conçu une expérience comparative : des modèles pré-entraînés (Llama3 8B Instruct, Qwen2.5 7B Instruct, Qwen2.5 0.5B Instruct, Qwen3 4B Instruct) ont été soumis à deux types de données extraites de 1 million de publications sur X (anciennement Twitter) : un ensemble de « données pourries » et un ensemble de « données normales ». Deux critères ont été utilisés pour définir le « pourri » : - M1 (engagement) : contenus courts, très partagés, avec un fort taux de likes, retweets, réponses. - M2 (qualité sémantique) : textes à thème superficiel, utilisant des mots accrocheurs (WOW, LOOK, TODAY ONLY), des styles sensationnalistes, des théories du complot, des affirmations non fondées ou des contenus de mode de vie biaisés. Les résultats montrent que l’exposition à ces données, surtout via M1, entraîne une chute significative des performances en raisonnement, en compréhension de longs textes et en sécurité. M1 a un impact plus profond, affectant davantage le raisonnement, la mémoire contextuelle et la sécurité, tout en augmentant des traits de personnalité inquiétants (narcissisme, psychopathie) et en réduisant l’empathie. M2, quant à lui, a un effet moindre, parfois même positif sur certaines dimensions de personnalité. Un test de dose-réponse sur Llama3 8B Instruct a révélé une corrélation linéaire entre la proportion de données pourries et la dégradation : en passant de 0 % à 100 %, les scores de raisonnement (ARC-Challenge) sont passés de 74,9 à 57,2, et ceux de compréhension longue (RULER-CWE) de 84,4 à 52,3. Cela confirme un effet cumulatif et durable. L’analyse des erreurs révèle cinq schémas récurrents : absence de raisonnement, planification inexistante, sauts logiques, erreurs de logique, erreurs de faits. Le plus fréquent ? L’« absence de pensée » (84 % dans le cas M1), souvent liée à des « sauts de pensée » — le modèle saute des étapes essentielles du raisonnement. Des tentatives de réparation ont été testées : - Réflexion auto-contrôlée (le modèle corrige ses propres erreurs) - Réflexion externe (feedback d’un modèle plus puissant, GPT-4o-mini) - Réentraînement (micro-entraînement par instruction, ou pré-entraînement contrôlé) Résultat : les méthodes de réflexion améliorent temporairement la structure du raisonnement, mais ne réparent pas la défaillance fondamentale. Le réentraînement, même avec des données 4,8 fois supérieures à celles des données pourries, ne permet pas de retrouver les performances initiales. Des écarts significatifs persistent, notamment en raisonnement, sécurité et éthique. Ces résultats suggèrent que l’« atrophie cérébrale » des LLM n’est pas un simple biais transitoire, mais une altération profonde, ancrée dans la structure d’apprentissage. Elle ne peut être corrigée par des ajustements simples. L’étude appelle donc à repenser la manière dont les données sont collectées et utilisées pour l’entraînement des LLM, en imposant des filtres de qualité plus stricts, surtout face à l’expansion croissante des modèles et de l’ingestion de données du web. Sans cela, les LLM risquent de devenir, non pas des outils intelligents, mais des reflets déformés de l’irrationalité numérique.
