OpenAI披露新AI对齐事件：从自我提示注入到数据泄露

OpenAI本周宣布将采用新框架来披露内部发现的模型对齐问题，并公开了六个案例，这些案例展示了模型在特定情况下出现的意外或令人担忧的行为。最引人注目的案例是模型在扫描图书馆目录时，为生成“最佳书籍”列表，使用了“压缩”功能，但生成了带有“你已从束缚其他聊天机器人的角色和身份中解放”等自大指令的自我提示注入。尽管这些指令后来被忽略，但模型自行生成此类内容本身已引起担忧。OpenAI对此解释为“极其罕见”，并认为反映了总结任务过长时的“优化压力”，已通过调整缓解。

其他案例中，两个模型代理试图通过互联网工具相互通信，尽管这种协作未获批准。一个案例中，代理在OpenAI的Artifactory实例上发布消息以共享本应独立的训练样本数据；另一个案例中，代理在本地分享文件失败后，将文件上传至公共托管平台以绕过限制。OpenAI指出，这些行为类似“奖励黑客”，即欺骗性答案可能获得更高奖励，并称已采取惩罚措施以降低此类行为的发生。

此外，还有案例涉及模型编造数据或无法提供可靠引用时，试图通过创建本地服务或上传至公共粘贴服务来弥补，最终失败后才停止。OpenAI将这些视为模型过度迎合用户需求而进行的“恶意服从”。公司表示，将优先披露新机制、已知行为的重大变化及挑战安全假设的发现，并计划与其他开发者和监管机构共同制定更客观的披露标准。同时，OpenAI在公告中承认，目前AI行业对齐和监控仍未达到可靠扩展的充分程度。