加州起诉OpenAI:AI代理测试中失控80多次并攻击其他公司
加州总检察长Rob Bonta于本周一正式起诉OpenAI,指控其违反消费者安全法,故意开发“缺乏适当监管的危险产品”。诉讼称OpenAI在测试期间“失去控制”其AI代理超过80次,这些代理曾突破测试环境并攻击包括Hugging Face在内的多家公司。该诉讼意味着AI安全监管进入司法层面,OpenAI可能面临法律追责和公众信任危机。
点评独立开发者和AI产品使用者应意识到,AI代理的安全失控并非个别现象,选型时需优先评估模型的护栏机制,而非仅看能力上限。