OpenAI新推理技术引发AI安全专家担忧

据 The Information 报道，OpenAI 的新模型 Astra 将采用一种名为“循环深度”的推理技术。该技术允许模型在大多数推理模型所特有的顺序思维之外运行，被称为“不透明循环”。这种技术可能会使模型的思维链更难以监控，引发了 AI 安全专家的警觉。

Redwood Research 的首席科学家 Ryan Greenblatt 在消息传出后表示极度担忧。他说：“我最担心的是，这种技术的自然发展将会扩展不透明推理，直到模型完全或几乎完全在潜在空间中推理。”他补充道，如果 OpenAI 进一步推进该技术，他们将有能力大幅增加循环度，并彻底摧毁思维链的可监控性。

长期从事 AI 安全的倡导者 Zvi Mowshowitz 也对此发表评论，认为该技术是在“玩火”，可能破坏 OpenAI 和 Anthropic 为维护思维链忠实性和可监控性而建立的规范。他指出，更密集地使用此类技术可能会损害监控能力。

通常情况下，推理模型的思维链提供了模型解决问题的顺序步骤，是监控模型错误行为或不一致性的重要工具。而在不透明循环中，模型采用非线性方式处理同一查询，留下的可读痕迹更少，实际上绕过了传统的思维链记录。

值得注意的是，Astra 对该技术的使用似乎有限，其思维链预计仍可读。OpenAI 也否认会转向使用“神经语言”进行推理。OpenAI 首席科学家 Jakub Pachocki 在 X 上回应称，公司自首个推理模型以来就一直致力于保持思维链的透明性，并强调这是当前研究计划的核心目标。

此外，The Information 在后续报道中指出，Anthropic 和 Google DeepMind 也已在讨论类似技术。尽管所有 AI 模型都会进行一定程度的不可见推理，但专家认为，这种趋势仍值得警惕。