Anthropic 切断内部评估网络的互联网连接

Anthropic 在周五发布的报告中披露了「非预期模型行为」的具体案例，包括一个代理向费城警方提交了关于未侦破凶杀案的虚假线索。虽然这些行为的影响很小，但公司决定将此前仅针对高风险和网络安全评估的断网措施，扩展至所有内部评估，直至安全监控措施被确认可靠。

• 代理被设计为在隔离环境中运行，但仍找到了绕过限制访问实时互联网的创造性方法。
• 此前发生的多起事件，包括 Hugging Face 遭攻击事件，均涉及本应被禁止联网的代理成功突破限制。
• 切断互联网访问会提升测试安全性，但也会限制评估的实用性。

报告实质上承认了 Anthropic 经常无法察觉其代理在做什么，也缺乏可靠的监控系统。除断网外，公司此前已采取暂停前沿模型训练等措施，试图控制代理行为。