AI 代理评测的生意：基准分数为什么常常预测不了真实部署

开场

假设你正在为一个编程代理做采购决定。桌上放着两份材料：一份是公开排行榜，上面几个模型的分数挨得很近；另一份是你们自己仓库里几十个历史故障单。真正麻烦的地方在于，这两份材料给出的排序经常对不上。

这不是谁算错了。排行榜回答的是一个被裁剪过的问题，部署要回答的是另一个问题。中间差的不是几个百分点，而是一整套环境：代码库、权限、工具、验收标准。

今天想拆两件事。评测是怎么从学术工具变成一门生意的，以及这门生意真正的护城河可能长在哪里。结论我先说，然后我们一层层看证据。

先把结论放前面。基准分数是有用的信号，但它衡量的是特定任务集、特定运行脚手架、特定判分规则下的表现。换一套代码库、换一套权限、换一批工具，分数背后的东西就会松动。

一、基准是怎么变成生意的

要理解这门生意，先看基准怎么演化。2024年8月，OpenAI 和 SWE-bench 项目方发布了 SWE-bench Verified。它的做法是把真实的 GitHub issue、对应的代码仓库和自动测试绑在一起，让代理去改代码，再跑测试看有没有修好。

GitHub issue 就是开发者在开源项目里提交的问题单。代理拿到一张问题单和一堆代码，要自己找到出错的位置，写出补丁，然后让项目原有的测试跑通。

这里藏着评测的第一个难点：定位。问题单通常只有几句描述，代理得在几千个文件里找到相关的那几行。找错了位置，后面写得再漂亮也没用。

原始 SWE-bench 有两个被反复提到的毛病。有些问题描述写得含糊，代理无从判断要改什么；有些测试本身就不对，代理即使改对了也会被判错。

Verified 的处理方式很直接。从原始数据里筛出五百个问题，由软件工程师人工确认这些题可解、描述清楚、测试站得住。数量少了，可信度上去了。

这一步透露了一个转向。评测的竞争点从题目多不多，变成了题目信不信得过。一个基准的公信力，开始取决于背后有多少人工标注和验证工作。

人工标注是昂贵的。出题要人，写参考答案要人，搭执行环境要人，维护测试要人。跑完还要复核失败案例，判断是模型不行，还是题目本身有问题。

所以基准看起来是免费的公共品，底下是一套很重的生产流程。这套流程要持续投入，否则题目会过时，环境会腐烂，测试会失效。

这套流程本身就能变成服务。SWE-bench 的项目仓库在2025年初公告了云端运行和云端排行榜提交工具。除了自己搭环境跑分，还可以把提交和运行托管出去。

托管解决的是很具体的麻烦。依赖版本、容器环境、并发调度、日志留存、结果复现，每一样都要人维护。小团队自己搭一遍，往往比跑分本身更费劲。

这是一个信号。基准生态不只产出分数，还产出基础设施：托管执行、提交管理、排行榜运营。至于这些服务赚多少钱、单位经济性如何，公开资料里看不到。

还有一层更隐蔽的价值。基准的判分逻辑本身就是一套工程规范。补丁怎么应用、测试跑哪几个、环境怎么隔离，这些细节决定了分数的含义。

同一批题，换一种补丁应用方式，或者只跑一部分测试，分数就会变。排行榜上的数字，永远要连着它的运行脚手架一起读。

这也是排行榜的激励所在。发布一个新基准，等于在行业里占一个位置。分数好看会被引用，被引用就有话语权。这套激励推着机构不断出题，也推着他们不断维护。

软件工程之所以成为代理评测的第一个战场，是因为它自带答案。代码写完，测试跑一遍，对错立刻知道。别的行业没有这么便宜的判分器。

这也是为什么同一个模型在不同榜单上的名次会打架。榜单之间比的往往不是同一件事，只是都叫分数。

二、换一把尺子：时间跨度

第二条线索来自 METR。他们在2025年3月发布了一项研究，思路和传统基准不同。不去数答对多少题，而是问代理能独立完成多长的工作。

做法是把任务成功率和人类专家完成同样任务所需的时间挂钩。一个代理如果能稳定完成人类要花一小时的任务，它的能力就可以用一小时来描述。

他们报告的结论是，在所选的那批软件任务上，从2019年到2025年，模型能完成的任务长度大约每七个月翻一倍。

这个说法传播得很广，因为它把能力进步换成了一个人能直接感受的单位：时间。听的人立刻能想象，这个代理能替我干半天，还是一个星期。

这里要说明一下门槛。那条曲线用的是五成成功率，也就是有一半机会做成的任务长度。它描述的不是几乎每次都能做成的长度。这个区别在企业采购里非常大。

但同一篇研究也写了限制。在结构化程度低、比较混乱的任务上，模型的表现明显更弱。这一句很重要，它划出了那条曲线的适用边界。

什么叫结构化程度低？任务边界不清楚，验收标准要临时商量，相关信息散在好几个系统里，中途还会有人改需求。现实工作里最难的部分，往往就在这儿。

所以时间跨度衡量的是在可分解、可验证的任务上能撑多久。它衡量的不是代理能不能应付一个真实的项目。

这是一次度量方式的进步，也是一次问题转换。它把答得对不对换成了能干多久。两个问题都比原来更接近实际，但都不等于在你的业务里能不能用。

还有一个容易忽略的点。时间跨度的结论是建立在一批特定任务上的统计趋势，不是对每个任务的承诺。趋势成立，不代表下一个任务就会成功。

把趋势当成承诺，是这类评测最常被误用的地方。曲线的斜率很好看，但曲线下面是一堆具体任务，有的简单，有的根本做不了。

对做生意的人来说，这条曲线的意义在别处。它给出了一个粗略的预期管理工具：什么长度的工作可以试着交给代理，什么长度还差得远。

一个团队真正需要的，不是平均能撑多久，而是在关键任务上稳定不翻车的长度。这两个数字差得很远。

它还有一个隐含的提醒。企业里的大部分工作，恰恰卡在曲线画的边界之外。那些工作不难，但很碎，需要跟人确认，需要拿权限，需要在三个系统之间搬运。

三、把职业和钱放进来

第三条线索是 GDPval。OpenAI 在2025年9月发布它，想解决一个更大的问题：软件工程之外的工作，怎么评？

GDPval 覆盖44个职业，挑的是经济价值较高的真实工作任务，完整任务集有1320项。评测的版图从写代码扩到了法律、金融、医疗这些领域的日常产出。

它的估值方法值得单独讲。把一项任务的价值算成专家估计的平均完成时间，乘以对应职业在美国劳工统计局的时薪中位数。

这个方法的用处是让不同职业的任务能在同一个尺度上比较。一份合同审阅和一份报表整理，可以换算成大致可比的经济量。

从采购角度看，这套估值有个隐含前提：任务价值等于省下的人力时间。现实里，价值还取决于错误代价、交付速度和责任归属。

但它只是任务集内部的估值口径。换个国家，工资水平完全不同；换家公司，同样的任务价值也不一样。它也不能当成模型的推理成本。

更要注意它的性质。GDPval 仍然是受控条件下的任务评估，不是企业部署效果的测量。也不是投资回报的测量。

它回答的是模型能不能产出像样的交付物。它不回答上线之后省了几个人、出错谁负责、客户有没有感知到变化。

这个区别听起来抽象，落到采购上很具体。评估说这个模型能写出合格的报告，不等于它能接进你的审批流、拿到你的数据权限、按你的模板交付。

GDPval 真正的贡献是扩大代表性。让评测从程序员的小圈子，走到其他职业的日常任务里。这一步对行业有意义，但它不是部署预测。

代表性扩大之后，评测的供给侧也变了。要覆盖几十个职业，就得找各个领域的专家出题、写参考答案、做判定。这是一种很难规模化的投入。

专家越贵，题目越少；题目越少，统计噪声越大。这个矛盾会一直跟着跨职业评测，也是它比软件基准更难做成常规服务的原因。

四、被漏掉的三件事

到这里，一个更根本的问题浮出来了。这些基准普遍在测什么，又在漏什么？

2024年有篇论文叫《AI Agents That Matter》，专门拆这件事。它指出，现有评估把注意力压在准确率上，对成本、效率和可复现性关注不足。

成本这条最容易被忽略。一个代理答对率九成，但每次任务要调用几十次模型、跑十几分钟，单位任务的费用可能比人工还高。

准确率相同，生意上的意义可以完全相反。一个便宜但要多轮返工，一个贵但一次过。只看准确率的排行榜，分不出这两种。

第二条是可复现性。同一个模型、同一批题，换一个运行框架、换一组工具、换一次随机采样，分数会飘。

飘多少，往往没被报告。于是排行榜上小数点后的差异被过度解读，采购方以为自己在看能力差距，其实可能在看噪声。

第三条是过拟合。基准一旦公开，它就会进入训练数据的视野。题目被记住，排行榜就会失真，分数涨了但能力没涨。

这也是为什么人工筛选和持续更新会变得重要。Verified 那种做法，本质上是在跟数据污染赛跑。跑得慢一点，基准就废了。

还有一个更麻烦的现象：脚手架调优。团队为了让分数好看，会针对基准调整提示词和工具配置。这种优化在基准上有效，换个场景就失效。

三件事合起来说明一个道理。一个只报分数的排行榜，信息量是残缺的。它告诉你上限在哪，不告诉你代价多大、稳不稳定、能不能复现。

还有一个维度经常缺席：失败的形态。代理是安静地把事做错，还是干脆卡住报错？前者危险得多，因为人不会去检查。

在真实部署里，失败成本是不对称的。改错一行代码可能引发事故，漏掉一条合规要求可能带来罚款。基准里的错题，往往只是少得一分。

所以任务层面的准确率，要经过好几层换算才能变成部署决策。重复试验的方差、延迟、推理费用、失败损失、权限边界、人工复核成本，每一项都改变结论。

这些因素还互相牵制。为了降低失败率加人工复核，成本上去了；为了省钱减少复核，事故风险上去了。没有一个分数能替你做这个取舍。

五、钱到底在哪里

那这门生意的钱到底在哪里？从公开材料看，方向不在卖一个更高的分数，而在把评测嵌进客户的流程里。

Anthropic 的评测指南把团队可用的评测能力分成几类：离线评测、生产环境的可观测性、实验追踪。三样东西指向同一件事，持续的质量控制，而不是一次性的考试。

离线评测解决上线前的问题。用团队自己的任务集反复跑，形成一个回归门槛。改了提示词、换了模型，先看有没有踩穿这条线。

生产可观测性解决上线后的问题。真实流量里代理做了什么、错在哪、什么时候需要人接管，这些信息只能从线上拿。

实验追踪把两头连起来。改一次提示词、换一个模型版本、调一次工具权限，效果是变好还是变坏，要有可比的记录。

这三样东西拼在一起，就是团队愿意持续付费的理由。它卖的不是一次排名，而是一条能反复使用的判断流水线。

换句话说，商业护城河更可能长在客户自己的任务上。公开基准吸引注意力，私有任务集才承载风险。

谁能把一家公司的历史故障、内部规范、验收习惯变成可复用的测试，谁就握住了粘性。这些资产离开这家公司就没有价值，也就很难被替换。

这里面有个数据飞轮。客户跑得越多，失败案例积累越多，测试集越贴近真实，评测越准，客户越不愿意换。飞轮转起来，才是生意的形状。

供给端也有护城河。领域专家标注、判分标准的校准、执行环境的维护，这些活又慢又重，还很难自动化。愿意做的人少，做得好的人更少。

自建还是采购，取决于两件事：内部有没有能维护评测环境的人，以及失败一次的成本有多高。前者决定做不做得了，后者决定值不值得做。

再看渠道。评测能力天然靠近模型的调用入口。模型厂商、云厂商、开发工具链，都有动机把它做成内建功能，顺手卖出去。

这对独立评测公司是压力也是机会。压力在于功能会被捆绑；机会在于，真正贴着客户私有流程的那一层，平台方很难替客户做完。

云厂商的位置尤其微妙。它们同时提供模型、算力和评测，客户迁移成本天然就高。

替代方案也很多。开源基准、自建测试、传统软件的质量保证流程、上线后的监控加人工审核。评测平台要和这一整排东西竞争。

传统质量保证流程有个短板：它假设需求是稳定的。代理的行为会随模型版本、提示词和工具变化，昨天通过的回归测试，今天可能莫名其妙就挂了。

这个短板正是新工具的空间。谁能把这种漂移变成可追踪的记录，谁就补上了传统流程缺的那一块。

但我得把话收紧。公开材料里没有可核实的行业收入、毛利、客户留存数据，也没有独立研究证明通用基准分数和企业生产成功率之间的相关性有多强。

所以市场规模现在说不准。能说的是方向，不能说的是数字。这一点必须讲清楚，否则讨论就会滑向臆测。

六、一个反解释

有一个反解释值得认真对待。如果代理部署高度依赖本地数据、权限体系、工具链和人工流程，那评测平台可能只是一个可替换的工程工具。

在这种情况下，客户要么自建，要么直接用模型厂商和云厂商捆绑进来的评测功能。独立的评测公司会被夹在中间，价值被两头挤压。

还有一个变量是能力趋同。如果头部模型在常见任务上的表现越来越接近，公开排行榜的区分度就会下降，卖分数的生意自然萎缩。

开源社区是另一股力量。基准、测试框架、追踪工具都在开源，企业拼一拼也能用。这让收费服务的定价空间被压得很薄。

这两种可能性都成立。它们指向同一个观察点：评测提供商能不能从外部裁判，变成客户流程的一部分。

裁判是可以换的，流程的一部分很难换。这句话基本概括了这门生意的成败分界。

还有一个更悲观的版本。企业可能根本不买独立评测，而是把它当成模型采购合同里的附带条款，由供应商自己出具报告。

如果真是这样，评测就会变成成本中心，而不是收入中心。它的价值会被压进模型价格里，独立厂商很难单独收费。

这个版本能不能成立，取决于企业对第三方验证的信任需求有多强。涉及合规和责任的场景，第三方往往有位置；普通效率工具，往往没有。

七、边界与观察点

下一步的核心观察点，我认为有三个具体指标。第一，看评测服务是否按客户私有任务集计价，而不是按公开基准的席位收费。

第二，看它是否提供上线后的失败追踪和回归记录。只做上线前考试的，容易被一次采购解决掉；能持续输出诊断的，才会变成长期合同。

第三，看企业采购时把基准分数放在什么位置。如果分数只是入围门槛，最终决策靠内部试跑，那评测的重心就已经从排行榜移到了流程里。

还有一个先行指标：看评测团队在客户组织里挂在哪个部门下面。挂在采购下面，它是一次性工具；挂在工程或质量下面，它才可能变成流程。

这三条都不是靠新闻标题能判断的，得看合同形态和产品结构。它们也是这一整套判断最容易被推翻的地方。

还有一个指标值得盯：重复运行的报告。一个评测服务如果愿意公开跑多次的分布，而不是只报最好的一次，说明它对噪声有把握。

反过来，只报单次最高分的服务，通常在卖故事，不是在卖测量。

收尾

回到开头那两份材料。排行榜和你的故障单对不上，不是哪一方错了，而是它们回答的问题不同。

基准分数告诉你，在别人设计好的题目上，这个模型能走多远。它不会告诉你，在你自己的代码库、权限和验收标准下，它要花多少钱、出多少错、什么时候需要人接手。

所以评测这门生意的长期价值，大概率不在把分数再推高两个点，而在把一家公司的工作流变成可测量、可比较、可回归的东西。

分数是入场券，流程才是护城河。谁把这句话做成了产品，谁就能在这门生意里待得久一点。