一项名为 Parsimony 的开源基准在 Hacker News 上发布，旨在衡量 AI 模型在完成编程任务时额外引入的代码量，以弥补现有基准仅关注解决率和 token 成本的不足。该基准由开发者 La5u 创建，相关代码已在 GitHub 开源。

发生了什么

根据项目介绍，现有基准主要衡量解决率和 token 输出/成本，但不会惩罚多余的代码，这可能导致代码库在长期项目中难以维护。开发者 La5u 希望测量这一维度，因为它在长期项目中尤为重要。

Parsimony 的方法基于基准已经公开的补丁（包括 DeepSWE、SWE-bench Verified、SWE-bench Live），统计其中称为“coding units”的语法元素，例如语句、函数调用、名称和字面量。项目没有使用代码行数作为指标，以避免奖励代码堆砌。同时，删除的代码会被减去，因此衡量的是净单元数。

对于尚无公开补丁的 GPT-6 和 Claude 5.5，开发者表示自己在其个人订阅上运行了 3 到 10 个任务，结果以淡色圆圈显示，不参与排名。项目欢迎反馈或模型贡献，尤其是新模型的公开补丁导出。开发者声明，该基准与上述任何基准均无关联。

为什么重要

当前 AI 编程基准通常聚焦于模型能否解决问题以及消耗多少 token，但往往忽略模型在解决过程中是否引入了不必要的代码。多余的代码可能增加代码库的维护负担，尤其在长期项目中。Parsimony 尝试将“代码简洁性”量化为一个可比较的指标，为评估 AI 模型的编程效率提供了新的视角。

该基准的开源性质允许社区贡献补丁和模型结果，可能推动更全面的模型评估标准。不过，由于部分新模型数据来自开发者个人运行且样本量较小，其结论的通用性仍有待更多公开数据验证。

背景补充

Parsimony 目前已在 GitHub 上开放源代码，开发者鼓励社区提供反馈和新模型的公开补丁导出，以扩展基准的覆盖范围。该项目的发布也引发了关于如何平衡 AI 代码生成效率与代码质量的讨论。

来源：Show HN: Parsimony – an open-source benchmark for how much c…（发布于 2026-10-13）