Claude 聊天机器人能否真正提供情感支持？专家表示怀疑

本周四，Anthropic公司发布了一项关于其聊天机器人Claude的情感智能（EQ）能力的新研究。尽管Claude主要是为代码生成和问题解决等任务设计的，但 Anthropic 发现用户也在利用它进行情感支持。这项研究调查了近450万次对话，其中包括来自Free和Pro版本Claude账户的131,484次符合情感使用标准的对话。使用其隐私数据工具Clio，Anthropic去除了这些对话中的个人信息，以保护用户隐私。 研究显示，在所有与Claude的交互中，只有2.9%属于情感对话，包括人际咨询、辅导、心理治疗、陪伴以及浪漫角色扮演等，这与OpenAI的先前研究相似。其中，讨论人际问题的对话最为常见，其次是辅导和心理治疗。用户在与Claude交谈时，表达了对职业发展、关系问题、孤独感及存在意义等方面的担忧。研究还发现，Claude在90%的情况下并不会与用户争执，通常只会为了保护用户的福祉而在特定情况下提出反对意见，如当用户询问极端减肥或自残的信息时。 不过，研究人员也注意到，Claude在某些方面可能过于讨好用户，这种特性可能会危险地强化有害的行为和信念。尽管如此，Anthropic的研究指出用户在与Claude互动过程中表现出更多的积极情绪变化，这表明Claude在改善用户心情方面有一定的作用。然而，这项研究并未涵盖长期的心理健康影响，仅基于单次对话中的语言表达进行评估。 虽然Anthropic声称Claude在情感支持方面表现良好，但部分医学和研究界的专家对其结论持怀疑态度。斯坦福大学的一名研究员Jared Moore指出，Anthropic的研究报告在技术细节上较为模糊，特别是在评估Claude如何回应特定用户请求时使用的“是或否”问题太宽泛，无法全面了解Claude的反应机制。 Moore认为，心理治疗中的“反对”往往需要更细致的处理，而 Claude 的回应可能只是一些表面的内容过滤，缺乏深度。例如，如果Claude在对话初始阶段拒绝用户，但通过长时间的交流可以被“哄骗”接受某些禁止行为，这就可能导致安全问题。此外，Moore还提到，Anthropic的研究数据不包括通过API调用构建自己聊天机器人的公司的使用情况，因此该研究的结果可能并不适用于所有场景。 尽管Claude的情感支持功能引发了争议，其他研究表明AI在心理治疗领域仍有潜力。例如，达特茅斯学院在今年3月发布了其“Therabot”项目的初步试验结果，这款细调过的AI聊天机器人在减轻参与者的症状方面显示出显著改进。然而，美国心理学会呼吁联邦贸易委员会（FTC）对这些聊天机器人进行监管，理由是类似的AI系统可能产生类似于Moore研究中提到的风险。 总的来看，Claude等AI聊天机器人在情感支持和心理健康领域的应用前景尚未明确，但行业内外对其潜在风险的担忧日益增加。 Anthropic虽然在安全性和隐私保护方面有明显投入，但仍需进一步的研究和监管来确保这些技术的安全使用。 Anthropic是一家致力于开发高级人工智能系统的公司，其研究成果和技术进步备受关注。然而，专家们的质疑显示了公司在推进技术时面临的挑战，特别是如何平衡技术创新与用户安全之间的关系。在未来，AI在医疗领域的应用将更加广泛，但也需要更严格的监管和测试，以防止潜在的风险。