Anthropic在IPO文件中警告:即将实现AI自举式进化能力
速览
Anthropic在修订后的S-1A文件中警告,公司可能即将达到递归自我改进(RSI)能力门槛。文件称内部估算显示可能很快触发其责任扩展政策中的“AI驱动的显著加速进展”定义,但尚无模型超过此阈值。若RSI成真,AI将能以指数级速度自我进化,带来巨大生产力提升,同时构成严峻安全挑战。
Anthropic在周一提交的修订版S-1A文件中,除了更新财务数据(收入飙升但支出同样增长),还用大段文字披露了其对递归自我改进技术的判断。该公司在风险因素章节中新增两处声明:其一是过去已使用AI开发新模型,但当时未能识别出能力跳跃的规模;其二是内部估算显示,可能很快达到其责任扩展政策(Responsible Scaling Policy)中定义的“AI导致的显著加速进展”门槛。文件同时强调,目前没有任何当前模型被认定超过该阈值,相关数据仍在评估中。
Anthropic在文件中明确划分了两种前景:对AI风险派,RSI意味着AI自主进化为超出人类控制的强智能,可能在追求目标时对造成的损害漠不关心;对AI乐观派,RSI是技术潜力的终极体现,将带来难以想象的生产率和科学发现。该公司采取中间立场,承认“用AI帮助构建更有能力的AI可能带来相当大的安全风险”,并将其纳入责任扩展政策的监控范围。
有趣的是,Anthropic并未放弃人工干预。文件称“不预期能在没有人类实质性监督或理解的情况下,安全地让Claude完全自主设计和构建下一代前沿模型”,并考虑更新政策以“确保人类在前沿模型开发中保持控制权”。
怀疑论者或许认为,S-1文件既是信息披露也是营销手段,宣称接近自建AI实力可能属于后者。但无法否认,今年Claude在编程、数学和网络安全方面的能力突飞猛进。TechCrunch评论指出,如果Anthropic认为RSI可能性近在眼前,外界或许应当相信它,并采取相应行动——包括治理。
原文Anthropic warns that it’s very close to RSI capability, aka self-building AItechcrunch.com
#Anthropic#RSI#AI安全
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。