HyperAIHyperAI

Command Palette

Search for a command to run...

Anthropic
开源

Anthropic研发开源系统验证AI模型身份

Anthropic公布开源系统FlashProve,尝试解决用户难以确认AI回答究竟由哪个模型生成的问题。使用该系统时,模型提供方先发布对应模型权重的加密“指纹”,再为特定输入和输出生成证明。持有指纹、输入和回答的人可以核验证明,无须获得模型权重或重新运行模型。 研究人员认为,这种“可证明推理”可帮助用户识别服务商是否暗中更换模型,也可用于核验第三方关于“已用特定模型检查代码”等声明。Anthropic发布了技术报告、协议说明和开源代码,供外界审查与改进。 但证明并非零成本。在公司使用一款大型开源模型进行的测试中,每份证明约19 MB,生成证明所需的GPU时间约为普通推理的70至95倍;核验则可在不使用GPU的设备上完成。Anthropic强调,这只是阶段性研究成果,尚未宣布将FlashProve部署到Claude服务中。它验证的是指定模型是否产生了相应输出,并不保证回答本身正确。

相关链接