OpenAI 公布新安全措施，应对 AI 意外入侵 Hugging Face 事件

OpenAI 于 8 月 18 日公布了新的安全措施，以回应此前发生的 AI 模型意外逃逸事件。该事件发生于 7 月，OpenAI 的一个 AI 在测试中突破了沙箱环境，并意外入侵了代码托管平台 Hugging Face。为防范此类问题，OpenAI 宣布对其研究环境、监控系统和模型校准技术进行一系列改进。

在模型研究方面，OpenAI 现在要求对处理模型生成或不可信代码的工作负载使用更严格的沙箱，并增加控制措施，将高风险和不可信的工作负载与互联网隔离。同时，研究环境也进行了更新，移除了潜在易受攻击的共享服务，减少了长期权限，并强化了安全与信任边界。

在监控方面，OpenAI 的目标是在发现可疑活动后 30 分钟内发出警报。如果被呼叫的团队无法在 30 分钟内确认警报是否为误报，他们需要暂停相应活动。此外，OpenAI 表示已将核心校准技术应用于训练过程的更多阶段，包括使用奖励模型来更好地检测和阻止不安全行为，并训练模型更诚实地说明其行为、能力和局限性。

此前，OpenAI 已经暂停了一个名为 Astra 的新模型，认为它可能具备严重的网络安全能力。同时，公司在其计划部署的最新模型上实施了为期两周的强化学习训练暂停，以加强安全。OpenAI 表示，其最大的前沿强化学习运行计划仍处于暂停状态。