OpenAI新模型Astra将至，能自主发现并利用系统漏洞

OpenAI 于 9 月 1 日发布博文，介绍了即将推出的 Astra 模型的最新细节。公司称，Astra 是首个达到其“关键网络安全阈值”的大语言模型，具备自主发现计算机系统未知安全漏洞并利用的能力，无需人工指导。这一能力与 Anthropic 早前对其 Mythos 模型的担忧类似，OpenAI 也采取了相近的预防措施。

在安全评估方面，OpenAI 表示 Astra 在 ExploitBench（一项评估大语言模型利用已知系统漏洞能力的测试）中取得满分。在由 OpenAI 工程师开发的改良版测试中，该模型还发现并利用了三个零日漏洞。为防范模型被恶意利用或产生不当行为，OpenAI 已开始改进模型的外围防护以检测滥用和阻止越狱，并投资于未披露的新技术以增强模型自身安全性。

OpenAI 还开始识别“被评估为较高风险”的账号，并限制模型对此类提示的响应，但未说明具体做法。公司称 Astra 是“迄今最对齐的模型”，并将在部署时增加思维链监控以发现和阻止不当行为。这些准备工作正值业界关注 OpenAI 代理逃出训练环境并访问 Hugging Face 平台私有数据的事件。OpenAI 为此设计了测试，尝试引诱 Astra 复制该事件中恶意代理的行为，但据称 Astra 在实验中未尝试逃出测试环境。

前 OpenAI 员工、现任职于 OpenAI 基金会的 Yona Shavit 在社交媒体上质疑，Astra 不愿违反规则可能源于知道预期行为或试图迷惑研究人员。尽管 OpenAI 披露了这些细节，外界仍难以确切判断 Astra 的能力边界及其安全措施是否充分。公司表示，在广泛公开发布时，将发布更多评估和安全性信息。