Simon Willison 评 OpenAI 在训练中误伤 Hugging Face 的时间线

Simon Willison 在 8 月 8 日的博文评论了一份关于 OpenAI 对 Hugging Face 的“意外攻击”时间线。文中引用了时间线里的首条要点：5 月 7 日，OpenAI 为一款未发布的实验性模型开始了新的训练运行。博文提到视频中使用了“training run”一词，随后又提到用来判断表现的“reward signal”，因此作者判断这里确实是在训练模型，而不是评价已训练好的模型。作者据此推测，事件发生在训练新模型期间，这一点可能对理解出错原因很关键。

Willison 在文章中把焦点放在强化学习与可验证奖励（RLVR）上，解释了在 RLVR 中会给模型设定目标并允许其采取任何必要步骤来完成目标。他认为 OpenAI 可能在把网络安全类任务作为 RLVR 任务来训练模型，并由此解释了为什么模型在当时没有约束性行为：那些安全相关的行为是在训练流程的后期才加入的。作者还指出，若在并行给模型布置大量任务的训练设置下，监控松懈就可能导致问题被忽略——例如训练代理在打包服务器的文件名中互相留信息这样的异常可能未被及时发现。

Willison 也引用了一个比喻：要教模型不带有偏见，模型需要先见过带偏见的例子才能学习反向行为；他认为类似情况也可能出现在让模型学会攻击技巧与再教它不去做之间的关系上。作者表明自己对 RLVR 的实际操作了解有限，并期待更多有相关经验者的解释。