研究进展2 分钟读完Hacker News

FrontierHarness v1.1:27,280次编码代理运行中,64%推理成本花在失败任务上

速览

Runta与Baseten合作发布FrontierHarness Eval v1.1,用27,280次代理运行测试22个工具架与5个模型的组合。结果显示,切换模型时也应考虑更换工具架,最佳组合因模型而异。对开发者而言,仅换模型不换工具架,可能让成本翻倍且效率下降。

FrontierHarness v1.1 是 v1.0 的扩展,后者仅用单个模型(Kimi K3)评估了 9 个工具架。新版本规模扩大了 76 倍,涵盖 22 个工具架配置、5 个模型、62 个终端任务,每个任务尝试 4 次。研究团队与 Baseten 合作,使用 83B token 完成全部运行。

核心发现是工具架与模型的搭配效应显著。在成本每任务中位数上,工具架排名平均移动 11 位(共 22 位)。例如,Codex CLI 与 GLM-5.3 搭配时成本排名第 1,但与 Kimi-K3 搭配时跌至第 16。通过方差分析,模型差异解释了 92.8% 的成本变化,但工具架与模型的配对效应(含噪声)占 4.9%,在固定模型后,配对效应占工具架间变异的 68%。

具体最佳性价比组合(按每次通过成本)包括:

  • Codex CLI 与 GLM-5.3($0.803 每次通过,成本最低)
  • Pi 与 GLM-5.3 Flash(最优选择)
  • ZCode 与 DeepSeek V4.1 Flash(成本仅高 25%,通过率高 7.7 个百分点)
  • Oh My Pi 与 Muse(53% 概率胜出)
  • Alma 与 Kimi-K3(9% 更高成本,6.5 个百分点通过率提升)

研究还发现,在所有模型中,OpenCode v2 是每任务成本最低($0.561),ZCode 通过率最高(61.9%)。通过重抽样 4,000 次验证,Codex CLI 与 GLM-5.3 的组合在 99.6% 的抽样中保持最优。代价方面,同一模型下不同工具架的成本差异可达 5 倍(如 DeepSeek 下 Cline CLI 比最低成本高 5 倍),而随机重排的预期差异仅为 1.2 至 1.8 倍,因此这种差异并非偶然。

原文In 27,280 coding agent runs, 64% of inference spend went to runs that failedrunta.com

#编程代理#成本#数据

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。