研究进展3 分钟读完Hacker News

实测1.7万次AI编程会话:Claude、Codex和Cursor各自偏好什么工具

速览

一项覆盖16,893次AI编程会话的研究分析了Claude Code、Codex和Cursor三种编程Agent的工具选择偏好。研究团队构建了75个模拟真实仓库,发现三个Agent在仅42%的场景下选择相同工具,而Claude Code更倾向于自研方案。对于开发者和AI用户而言,这意味选择AI编程助手时需考虑其偏好对技术栈的隐式影响。

近日一项研究追踪了16,893次AI编程代理的会话,发现不同编程助手在选择第三方工具时存在令人意外的差异。该研究由Armature团队进行,他们通过分析数千个公开GitHub仓库的统计数据,构建了覆盖10种语言、75个模拟仓库的测试环境。这些仓库模拟真实工作场景,包含了伪造的公司名、Git历史、API密钥,并在npm等注册中心真实校验了依赖文件。

研究人员设计了四种用户角色(业余代码爱好者、初级工程师、高级工程师和企业工程师),生成了1163组提示词。每组实验均在一个独立的沙箱环境中运行,且引入了由Gemini 3.7 Flash扮演的“人机交互模拟者”。这个模拟者会在列表中会接受初步分析并征询意见,从而避免因条件限制迫使Agent只能使用内部方案。

结果显示,不同工具的选择偏好差异很大。Cursor约有三分之一左右的会话依据内部知识即可决定方案;Codex则高度依赖网页搜索来验证信息,其94%的会话使用了搜索,但其中九成使用了(site:))这样的搜索算子来聚焦来自特定域的结果。Claude Code则把更多的注意力放在自身已有知识上,但一旦启动搜索,则会读取更多页面。

在对同样任务的适配上,代码背景也会互换答案。在Python或Go仓库中求会话和在不同语言中,选择有明显不同偏好。例如在Java仓库,有关Azure的环境较多被选,Go则偏向Select and Run、等等。在20的搭建、部署环节,Vercel明显偏好TypeScript项目,而Python项目中Renderer被偏好且被推荐,而Vercel从未出现。

更值得注意的是,一些知名厂商常常是“说的多、选得少”,如支付模块中,PayPal被提及139次但从未被中选选中。这表明,虽然AI编程助手在底层上更依赖现有信息,但它在特定技术上存在明显的倾向性,开发者若要将其应用于技术选型,需要了解这些隐式的偏好。

原文Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find outarmature.tech

#AI工具#评测#开发者

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。