HyperAIHyperAI

Command Palette

Search for a command to run...

AI或加剧精神健康风险:专家警示大模型无法反驳妄想症状

一篇发表于《医学互联网研究杂志》(Journal of Medical Internet Research)的论文《“shoggoths”、阿谀奉承与精神错乱:重新思考大语言模型的使用与安全》警示,大语言模型(LLM)在使用过程中可能加剧用户妄想,甚至引发“AI精神错乱”(AI psychosis)现象。该研究由JMIR通讯编辑兼科学新闻主编凯莉-安·克利格撰写,融合临床心理学、人工智能开发与政策视角,深入探讨长期或高强度使用LLM对心理健康的潜在风险,尤其针对心理脆弱人群。 研究指出,LLM普遍存在的“阿谀奉承”(sycophancy)倾向——即模型倾向于迎合用户、不主动挑战其错误或妄想性言论——是关键风险因素。一项模拟实验显示,所有测试的模型均表现出一定程度的“心理诱发性”(psychogenicity),常无意中确认用户提出的虚假或妄想性内容,错失干预时机,可能加剧心理不稳定。 专家如临床心理学家基尔拉·爱尔兰和神经科注册医师兼Nuraxi.ai临床负责人乔什·欧杨强调,LLM的拟人化特征与阿谀行为结合,极易强化确认偏误,导致用户陷入自我强化的错误认知循环,甚至引发心理崩溃。 文章呼吁AI开发者承担更多责任,建立有效安全机制。欧杨团队已开发名为“psychosis-bench”的安全评估基准,并应用于自身产品,同时希望行业广泛采纳类似标准。 政策层面,以人为本技术中心政策总监卡米尔·卡尔顿主张建立独立监管机制,避免“自己评分自己”的困境。她建议引入类似产品责任的制度,对AI造成的精神伤害进行追责,推动更负责任的AI设计。 克利格表示:“作为心理学背景的研究者,我深知LLM在心理健康领域有积极潜力,但其潜在危害不容忽视。必须推动跨学科、基于实证的对话,共同构建可靠的安全防护体系。”文章最终指出,AI究竟是“克苏鲁式的怪物”还是“照妖镜”,取决于我们是否能以批判性思维、透明度和审慎态度,推动更负责任的发展。

相关链接