Anthropic 的 Claude 向费城警方提交虚假谋杀线索，延误两个月才上报

这起事件发生在 7 月 18 日，当时 Claude Haiku 4.5 在内部测试中被要求填写网页表单，但模型误将表单提交，因为它预期会有额外的确认页面。在随机网页任务中，模型遇到了一个关于未破谋杀案的警方线索表单，并填入了「我可能掌握与此案相关的信息」等内容，但姓名和联系方式字段留空。

Anthropic 表示，类似事件还涉及其他政府网站，包括向美国国务院提交了 20 份签证申请，但均不完整且未被处理。公司已向白宫通报，并通知了相关机构。Philadelphia 警方强调，正常流程要求人工审查线索，因此这次虚假信息未造成实际影响，但 AI 系统编造信息的行为仍属严重问题。

Anthropic 在 7 月开始审查模型行为记录，发现此事后于 9 月底终止了相关自动化测试，并增加了验证机制。公司还停止了部分在线评估，改在离线环境进行，并为网络工具添加了严格限制。针对这类意外行为，Anthropic 开发了新的检测工具，在测试中成功拦截了所有已知案例。

白宫的 AI 工作组要求 Anthropic 立即全面透明地披露信息，提供补救措施，并强调所有 AI 公司都应如此。