Real-SWE基准测试：评估AI模型在私有企业代码库上的表现
速览
Real-SWE基准测试发布，评估前沿AI模型在真实企业私有代码库上的表现。测试任务来自真实公司的生产代码库，包含计费、税务等复杂业务问题。结果显示，最佳模型组合仅解决38.8%的任务，表明AI在真实工程环境中仍有较大提升空间。
Real-SWE 基准测试今日发布，旨在评估前沿 AI 模型在真实企业私有代码库上的表现。每个任务都来自从真实公司获得许可的私有生产代码库，是工程师实际处理的问题，包含现有产品带来的所有上下文和复杂性。
与公开的或合成的任务不同，Real-SWE 要求 AI 代理在无法访问公开互联网代码和解决方案的私有系统中导航，处理计费、税务、客户迁移等有业务后果的变更，并适应每个公司的独特规则和编码方式。这些任务平均需要修改 11 个文件，指令中位数长度为 1742 字符，远超其他流行基准。
在测试中，多个模型与原生框架的组合取得了不同成绩：Fable 5.1 搭配 Claude Code 解决率最高达 38.8%，GPT-6 Astra 搭配 Codex CLI 为 33.8%，Gemini 3.8 Flash 搭配 Gemini CLI 为 31.2%。其他组合均在 25% 以下。所有结果基于每个任务八次独立运行的平均值，以 pass@1 指标衡量。
Real-SWE的任务描述是略微不足的，要求代理在代码和工具中发现实现细节，同时保持系统正常运行。基准选择的标准包括公司真实用户量、工程团队实力和生产负载强度，优先选取实际业务需求驱动的代码编写，而非专门为基准编写的代码。
原文Real-SWE: Benchmarking AI models on private, real-world, enterprise codebaseswithspecific.com
#基准测试#SWE#企业代码#开源
本文由程序自动抓取公开报道，经 AI 筛选与改写生成，未经人工逐条核实，事实以原文为准。