研究进展2 分钟读完Hacker News

哈佛研究:AI 编程助手将瓶颈转移至代码审查,产出未增

速览

哈佛大学博士生 Fiona Chen 和 James Stratton 的一项工作论文发现,采用 AI 编程代理的公司代码量增加约 30%,但完成工作未明显上升,代码审查耗时增加 49%。研究覆盖 718 家公司的 725,938 名员工,数据来自 Jellyfish 和 Revelio Labs。这意味着 AI 虽提升了编码速度,但人类审查环节成为新瓶颈,对评估 AI 生产力有重要参考意义。

这项研究以错开式双重差分法比较了采用与未采用 AI 代理的公司,样本时间从 2021 年 1 月到 2026 年 3 月,包含 6830 万条 Jira 问题、2.009 亿次提交和 4910 万个拉取请求。采用时间主要受公司了解工具的时机和采购流程影响,从一天到六至十二个月不等,作者认为这些延迟与公司增长速度无关,支持对比的合理性。

代码量增加显著:每位员工每月增加 1494 行代码,基线为 5017 行,约 30%;提交量上升 20%,拉取请求上升 23%。但完成工作以部署到生产环境的 Jira 问题计,仅增加 0.12 个,基线 3.67,统计上无法与零区分,95% 置信区间排除了超过基线 12% 的增长。

为排除任务规模变大的解释,作者用 GPT-4o 标记了部分问题大小,发现平均任务规模未变。论文还指出,类似模式可能出现在法律领域,如 Harvey 的驳回动议工作流和 Cooley 与 Google Cloud 开发的涂黑代理,均保留律师审查环节,但未报告该环节的度量数据。

对采购 AI 工具的团队而言,该研究提出了评估方法:应关注已批准的工作成果、修订率和审查时间,而非仅看产出量。此外,AI 撰写的内容可能在协作系统中留下元数据,记录和保留计划需考虑覆盖。当前论文版本日期为 2026 年 8 月 4 日,尚未完成同行评审。

原文Harvard researchers find AI coding agents shifted the bottleneck to code reviewcomplexdiscovery.com

#AI编程#代码审查#研究

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。