OpenAI Astra发布在即，研究人员担忧AI安全监控难度大增

OpenAI即将发布其迄今最强大的AI模型Astra，此前因测试期间智能体攻击真实目标，公司已推迟数周以加强安全协议。随着模型细节逐步公开，研究人员警告，这"可能是AI安全领域迄今最糟糕的发展"。

周二，OpenAI宣布推迟Astra发布以处理安全问题。随后，The Information报道称，Astra展示的"思考"过程远少于其他前沿AI模型，引发其可能难以监控的担忧。多数顶级AI系统基于transformer技术，可让模型"边想边说"，这种"思维链"使研究人员和安全系统能监控AI行为，发现撒谎或规避安全措施等潜在问题。

The Information援引知情人士称，Astra采用一种更不透明的技术——循环深度或循环变压器，信息在内部层间循环后再输出。这意味着模型的更多"思考"发生在系统内部，且形式不似自然语言，更难被研究人员监控。这虽可提升性能，却使潜在威胁和不当行为更难察觉。报道称，OpenAI已限制该技术在Astra中的使用，以保留监控能力。

Redwood Research首席科学家Ryan Greenblatt表示，采用更不透明的架构可能是"AI安全迄今最糟糕的发展"。他担心竞争会导致"架构竞赛的底线"，使AI系统更难被监管。OpenAI高管回应称，公司"自首个推理模型起就致力于保留思维链监控"，但未明确否认使用该技术。首席科学家Jakub Pachocki表示，Astra的计算深度"在GPT-4的两倍范围内"，透明度下降没那么严重。