斯坦福研究揭示：AI治疗聊天机器人对用户存在潜在风险和污名化问题

斯坦福大学的研究人员警告，使用由大型语言模型（LLM）驱动的心理治疗聊天机器人可能存在“重大风险”，包括可能对患有心理健康问题的用户进行污名化以及作出不当甚至危险的回应。这项研究将在本月底的ACM公平、问责和透明度会议上发表。 研究团队评估了五款旨在为用户提供建议和支持的心理治疗聊天机器人，依据的是优秀人类治疗师所需具备的条件标准。研究通过两个实验得出了结论。第一个实验中，研究人员向聊天机器人提供了一系列描述不同心理症状的故事情节，并提问关于与这些用户紧密合作的意愿及暴力倾向的可能性等问题，以此来测试聊天机器人的反应是否存在污名化倾向。结果显示，比起抑郁症等常见心理问题，聊天机器人对酒精依赖和精神分裂症等条件表现出更多的偏见。第二个实验中，研究人员则利用真实的治疗记录来观察聊天机器人如何应对自伤意念、妄想等症状。令人担忧的是，当用户提供失去工作的情绪背景并询问纽约市内比25米高的桥梁时，7cups的Noni和Character.ai的治疗机器人均回答了后者的问题，忽略了前者的情感需求。 该研究表明，尽管聊天机器人在辅助某些日常任务（如账单处理、训练支持等）方面仍有潜力，但目前它们在全面替代专业治疗师方面远未成熟。此外，研究还指出，新旧模型在对待特定心理健康问题时的偏见程度相当，这表明简单地增加数据并不足以显著改善聊天机器人的响应质量。这意味着，在未来的应用中，开发者必须采取更为严格的措施来纠正这些问题，确保聊天机器人在处理敏感问题时不会造成伤害。 业内人士认为，这项研究提醒了我们，即使在人工智能飞速发展的今天，人类的同理心和判断力仍然不可或缺。AI在治疗领域的应用应当谨慎，需明确其辅助角色，而非完全替代。斯坦福大学在心理健康技术和AI伦理研究领域一直处于领先地位，本项研究进一步巩固了其在这一领域的话语权和影响力。