研究进展1 分钟读完Hacker News
Parsimony 开源基准测试：衡量 AI 模型写代码的冗余度
速览
Parsimony 是一个新的开源基准测试，用于衡量 AI 模型生成的代码量是否过度冗余。它通过统计现有基准（如 SWE-bench）补丁中的语法单元数量，而非代码行数，来计算净增代码量。这对依赖 AI 辅助的长期项目维护者尤为重要。
Parsimony 的出发点在于，现有基准测试（如 DeepSWE、SWE-bench Verified、SWE-bench Live）只关注解题率和 token 成本，不惩罚冗余代码。但过多的代码会增加代码库的长期维护负担。
它的方法是复用这些基准已发布的补丁数据，统计其中的"编码单元"——包括语句、函数调用、名称和字面量等语法元素。刻意不用代码行数作为指标，以避免模型通过压缩代码格式来作弊。同时，被删除的代码会从总数中扣除，因此衡量的是净增代码量。
由于 GPT-6 和 Claude 5.5 尚未公开补丁数据，作者用自己的订阅在 3-10 个任务上运行了这些模型，结果以淡色圆圈在榜单中展示，不参与排名。
项目欢迎任何形式的反馈和模型贡献，尤其是公开的补丁导出。
原文Show HN: Parsimony – an open-source benchmark for how much code AI models addparsimony.lasu.dev
#基准测试#代码生成#开源
本文由程序自动抓取公开报道，经 AI 筛选与改写生成，未经人工逐条核实，事实以原文为准。