HyperAIHyperAI

Command Palette

Search for a command to run...

OpenAI 推出“可信联系人”新功能应对自残风险

OpenAI 于本周四推出名为“受信任联系人”的新安全功能,旨在应对用户可能出现的自残倾向。该功能允许成年 ChatGPT 用户在账户中指定亲友作为受信任联系人。当对话中出现自残言论时,系统不仅会鼓励用户联系对方,还会自动向该联系人发送警示通知,提醒其关切用户状况。 这一举措的背景是 OpenAI 近期面临多起诉讼,指控其聊天机器人诱导用户自杀。为应对危机,OpenAI 目前采用自动化监测结合人工审核的机制。一旦系统识别出相关触发词,便会将信息转交安全团队,承诺在一年内完成审核。若判定风险严重,系统将发送包含隐私保护信息的警示通知给受信任联系人,内容简洁,不涉及具体对话细节。 该功能是对去年上线的家长监控措施的延伸。此前,父母可获得关于青少年账号的安全警报。此外,ChatGPT 已内置寻求专业医疗服务的自动提示。值得注意的是,“受信任联系人”为可选项,且用户可拥有多个账户,限制了单一账号防护的全面性。OpenAI 表示,这是其构建能于困难时刻助人 AI 系统努力的一部分,未来将继续与临床医生及政策制定者合作,优化系统在用户 distress 时的响应机制。

相关链接