Anthropic发布FlashProve系统,用密码学证明AI模型身份
速览
Anthropic周二发布博客,宣布正在开发开源系统FlashProve,用于验证AI输出确实来自特定模型。该系统提供密码学证明,可防止模型被冒充或秘密替换。目前研究仍在进行中,Anthropic尚未计划部署。
FlashProve的核心是提供「可证明推理」——一种数学上的保证,让用户确认收到的回答确实来自他们以为的模型。它类似于密码学邮件签名,能够抵御冒充者,甚至包括开发并运行该模型的实验室本身。研究人员特别指出,该系统可防止AI公司为了降低成本而悄悄换用更便宜的模型,或为了虚报性能而改用更贵的模型。
此外,FlashProve还能用于验证第三方的声明,例如开发者声称其软件库由前沿网络安全模型扫描过漏洞,或公司声称其商业计划得到适当模型的批准。研究人员在博客中问道:「用户如何验证这些说法?」
系统要求AI实验室为每个发布的模型公布一个「指纹」,该指纹可匹配到特定输出并进行密码学验证。关键在于,指纹不会泄露模型的权重——这些定义模型行为的内部数字是Anthropic和OpenAI等闭源模型厂商的核心机密。这意味着实验室可以在不放弃最宝贵资产的情况下发布指纹,使系统也能适用于商业模型。系统设计轻量,验证可在本地设备上完成。
作为公告的一部分,研究人员发布了详细的技术规范和多种工作代码,已在GitHub上以开源许可公开。研究仍在进行中,目前没有在Anthropic或其他实验室部署的计划。研究人员表示:「这篇研究帖旨在分享阶段性进展,而非完整的研究议程。我们分享的目的,是希望他人能借鉴我们的工作并加以改进。」
原文Anthropic is working on a system to prove AI models’ identitytechcrunch.com
#Anthropic#模型身份#安全
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。