HyperAIHyperAI

Command Palette

Search for a command to run...

AI 患上“脑腐”:持续接触垃圾信息导致认知退化且无法恢复

人工智能模型在持续接触低质量网络内容后,正面临一种类似人类“脑腐”的认知退化风险。这一现象由德克萨斯农工大学、德克萨斯大学奥斯汀分校与普渡大学的研究团队在最新研究中揭示,相关成果已发布于arXiv平台。研究提出“LLM脑腐假说”:当大型语言模型(LLM)长期接受来自社交媒体的碎片化、高互动但低语义质量的内容训练时,其核心认知能力将出现不可逆的衰退。 研究团队定义了两类垃圾数据标准:M1基于内容的“互动热度”与“短小精悍”特征——即点赞、转发、评论等指标高,但文本长度极短;M2则聚焦“语义质量”,识别使用夸张词汇(如WOW、TODAY ONLY)、煽动性标题及阴谋论、无根据主张等缺乏深度的内容。基于此,研究人员从社交媒体X平台抽取百万条帖子,构建对比数据集,并测试了Llama3 8B、Qwen系列等四款主流模型在不同干预下的表现。 实验结果显示,两类垃圾数据均导致模型推理与长文本理解能力显著下降,其中M1(热度驱动型)影响更为严重。模型在ARC-Challenge等推理任务中的得分从74.9降至57.2,长上下文理解指标RULER-CWE也从84.4跌至52.3,呈现明显的剂量效应。更令人担忧的是,M1干预还引发安全风险上升,以及模型表现出更强的自恋倾向与精神病态特征,宜人性下降,出现类人“人格偏移”。 进一步分析发现,M1的破坏机制并非单一因素所致。热度与文本长度对不同任务的影响权重不同:热度更影响推理逻辑,而长度则显著削弱长程理解能力。研究通过思维链分析识别出五类典型失败模式——无思考、无计划、计划跳步、逻辑错误与事实错误,其中“无思考”占比高达84%,且几乎全部与“思维跳跃”有关,即模型频繁跳过推理步骤。 为验证是否可修复,研究尝试了两种方法:一是自我反思与外部模型(GPT-4o-mini)纠错,虽能缓解部分逻辑问题,但无法恢复根本能力;二是通过指令微调与持续预训练进行再训练,即使使用远超垃圾数据量的高质量样本,模型性能仍无法完全恢复,与原始基线相比在多项评测中存在显著差距。 结果表明,垃圾数据对LLM的损害已深度内化,现有修复手段难以逆转。这一发现警示:随着模型规模扩大与互联网数据摄入量激增,盲目采集和持续训练低质文本,可能引发系统性认知退化。研究呼吁,必须建立更严格的数据筛选机制,提升训练数据质量,从根本上防范AI“脑腐”风险,确保人工智能系统的可靠性与安全性。

الروابط ذات الصلة