Anthropic 研究员展示自我改进 AI 系统，自动修复对齐缺陷

Anthropic 研究员 Chen Yueh-Han 在 fellows 项目中发布了一篇新论文，题为「自动研究员可可靠缓解对齐失败」。论文展示了 AI 系统如何自动改善模型在特定对齐基准上的表现，系统在 10 个针对错误行为的基准测试中全部提升了性能，且没有降低整体表现。

这一系统复刻了传统研究方法：每个自动系统搜索现有文献、提出方案，然后用该方案训练模型 30 分钟，并通过多次迭代逐步提升基准分数。有效方法被保留，无效的被丢弃，使其能快速大规模运作。论文写道：「这些结果提供了早期证据，证明自动化对齐后训练在近期可能变得实用。」

论文将自动对齐研究员（AAR）与人类研究员做了直接对比，称最佳 AAR 方法在六小时内平均胜过经验丰富的人类提议。成本方面，AAR 每小时 API 推理成本约 4 美元，而人类研究员每小时需 150 美元。不过论文也承认局限：系统效果依赖于基准能否真实反映对齐目标，且建立和维护基准及扩充文献仍有大量工作。

这项研究是迈向递归自我改进的一步。如果模型能改善自己的对齐训练，未来可能更广泛地改进训练实践，人类 AI 研究员的角色或将逐渐被取代。