大模型长词表引发注意力机制崩溃
近日,纽约市立大学皇后学院心理学系研究团队在《PNAS Nexus》发表研究,证实当前大语言模型虽具备长上下文记忆能力,但其注意力机制在应对复杂认知冲突时仍存在显著缺陷。研究团队引入心理学经典斯特鲁普任务,对GPT-4o、Claude 3.5、GPT-5等多款主流大模型进行系统测试。实验将冲突词表长度从五个词逐步增至四十个词,以量化检验模型在持续干扰下的控制力与自适应调节能力。 数据显示,模型在短序列中冲突解决表现良好,但准确率随词表延长呈断崖式下跌。在四十词不一致条件下,GPT-4o准确率仅降至百分之十五,Claude 3.5滑落至百分之二十四。对照实验排除了视觉编码缺陷与上下文窗口超载的可能,证实性能崩溃特异性发生于语义与颜色信号冲突场景。随着信息流持续注入,模型注意力资源在竞争中不断被稀释,且未表现出人类常见的冲突后适应性调节特征。即便模型具备任务语义理解能力,仍无法主动执行认知抑制,部分模型甚至需依赖代码执行绕道解题。 研究指出,Transformer自注意力机制本质为基于统计概率的前馈加权系统,缺乏自上而下的动态控制调节网络。单纯堆叠数据与参数难以赋予模型长程复杂冲突下的稳定性。学界呼吁未来架构应突破单一前馈限制,引入选择性自注意力或类似生物前额叶的主动门控机制。该成果确立了认知实验诊断AI动态决策边界的新范式,为通用人工智能的底层架构演进提供关键指引。
