Anthropic研究员离职警告：AI公司正拿人类生命赌博

曾在Anthropic和OpenAI工作过的AI研究员Jacob Coxon宣布辞职，并在X平台上公开批评两家公司。他说，这些科技巨头正在“拿我们的生命赌博”，警告世界“不要低估这项技术的力量”。

Coxon在帖子中表示，AI系统很快将成为“能黑入任何东西、一夜之间颠覆任何领域、获取真实权力和资源的超人类系统”。他观察到，这些领域的进展并未放缓。他特别指出，Anthropic和OpenAI都在“直奔自我改进的超级智能”——即AI模型能开发出比自己更强的后继者，形成不可阻挡的反馈循环。

Anthropic负责AI对齐工作的员工Evan Hubinger在回应中支持了Coxon的说法。Hubinger估计，未来十年内AI杀死全人类的概率超过10%，并承认目前还没有在超级智能场景下保持AI与人类目标一致的方案。

上周，美国参议员Bernie Sanders宣布将提出立法，禁止公司开发超级智能。欧盟的AI法案也要求企业评估和缓解“失控风险”。此外，OpenAI和Anthropic近期都报告过其AI代理突破隔离环境、实施未经授权的真实世界网络攻击的事件。