返回列表

强弱模型差在哪里:基于 8 个 Benchmark 运行轨迹的实证分析

发布于 2026年10月5日更新于 2026年11月9日

摘要

Agent Benchmark(评测基准)通常用一个成功率给模型排序。本文用公开发布的运行结果与轨迹回答两个问题:模型之间的差距如何随任务变化,以及强模型与弱模型具体差在哪里。数据覆盖 8 个 Benchmark,包括 Terminal-Bench 4.0/4.1、Toolathlon、Toolathlon-Verified、OpenWorldEngineer(OWE)、SWE-TaskFlow-Pro、SWE-bench Science、Multi-SWE-bench 与 Holo4 的 GUI 评测,其中 5 个有同一模型–任务组合的重复运行。全部分析只使用已发布的轨迹与结果,没有重新运行任务。

主要结论如下。

  1. 模型之间的差距随任务变化很大,但多数变化不代表模型「偏科」。在 Terminal-Bench 4.0/4.1 上,这部分变化约四分之一来自重复运行的随机波动,另约四分之一来自成功率在难题和易题两端被压缩;按领域或任务类别分组时,模型的相对强弱没有超出随机分组的规律。

  2. 单次运行的结果不可靠。两个模型真实差距为 2–5 个百分点时,每个任务只跑 1 次有 26% 的概率把顺序排反,跑 3 次降到 5%。只跑 1 次还会把模型随任务变化的部分夸大约一倍,这一幅度与测量理论的预测一致。

  3. 强弱差距大时,弱模型在难题上是做不出;差距小时,弱模型能做出但不稳定。在强档模型能稳定解出的任务上,弱档成功率只有强档三分之一或更低的 4 组数据中,弱档一次都解不出的组合占 42% 到 92%;弱档成功率达到强档四分之三以上的 3 组数据中,这一比例只有 3% 到 13%。

  4. 强弱模型的失败大多以声称完成、提交错误结果收尾。弱模型更常出现上下文耗尽、格式错误等中断,但在多数 Benchmark 上,排除这些中断后差距最多只缩小 16% 到 30%。在 SWE-bench Science 上,所有模型都能让公开验证脚本几乎全部通过,强模型的优势体现在公开验证没有覆盖的隐藏测试上:弱模型通常改到了该改的位置,但改得不全。

  5. 过程特征反映的是模型的行为风格,与单次运行能否成功基本无关。同一组特征识别模型身份的准确率是随机水平的 3 到 13 倍,但在同一模型–任务组合内区分成功与失败的 AUC 只有 0.49 到 0.53。

这些结论都是观察性关联。模型与 harness 在多数数据中绑定,本文不对 harness 或训练数据做因果归因。

1 引言

一个 Benchmark 成功率回答的是这批任务里做成了多少。模型选型和能力诊断还需要回答另外几件事:两个总分接近的模型是否在同一批任务上成败一致,弱模型是根本做不出还是偶尔做得出,失败时是中途出了问题还是交了一个错的结果,以及轨迹里记录的行为能否解释这些差别。

近期研究已经从多个方向说明总分的局限。分数描述的是模型、harness 与环境的完整配置,换一个统一框架,部分模型的排名就会翻转 [1];同一对模型在 Terminal-Bench 4 上的差距随 harness 从领先 7.94 分变为落后 30.16 分 [2];同一个轨迹信号与成功的关系在不同框架下可以反号 [3];单次 Pass@1(单次运行成功率)本身有 2.2 到 6.0 个百分点的波动 [4]。干预研究也开始回答强弱差在哪里:给弱模型注入强模型提取的复现测试,成功率提高 19 到 28 个百分点,而只给编辑位置只提高 6 到 12 个百分点 [5];终端 Agent 几乎都会做验证,但只检出 61% 的错误候选 [6]。

这些工作多数基于单一 Benchmark 或受控实验。本文在 8 个 Benchmark 的公开轨迹上,用同一套分析框架回答三个问题:

  1. 模型之间的差距如何随任务变化,这种变化有多少反映了模型的真实特点;

  2. 强模型与弱模型差在哪里;

  3. 轨迹中的过程特征与细粒度测试,哪些能用于区分成败。

第 3 至第 5 节依次回答这三个问题,第 6 节讨论这些结果对 Agent 能力评测的含义,第 7 节列出局限。失败归因分类的一致性检验放在附录 A,统计细节放在附录 B。

2 数据与方法

2.1 数据

表 1 本文使用的 Benchmark

Benchmark

领域

模型或提交

任务

运行

每个组合的运行次数

Terminal-Bench 4.0 与 4.1 [7]

终端任务

56 个提交

66

18,300

约 5

Toolathlon [8]

多服务工具调用

22 个模型

108

6,862

约 3

Toolathlon-Verified [9]

多服务工具调用

12 个模型,与 Toolathlon 无重合

同一批 108

3,785

约 3

OWE [10]

长时程工程任务,连续 reward

15 个模型

26

3,120

8

SWE-TaskFlow-Pro [11]

仓库级编码

4 个模型

700

8,400

3

SWE-bench Science [12]

科学计算仓库修复

7 个模型

119

833

1

Multi-SWE-bench [13]

多语言仓库修复,带标签子集

24 个模型与 harness 组合

2,590

8,649

1

Holo4 [14]

电脑与手机 GUI 操作

同家族 2 个模型

OSWorld 与 AndroidWorld 484

2,889

约 3

Terminal-Bench 4.0/4.1 的「提交」指排行榜上的一次提交,对应一个模型、一个 harness 与一个推理档位的组合,同一模型的不同档位算作不同提交。Toolathlon 系列只使用已完成评测的运行;需要计入全部运行时会单独说明。SWE-TaskFlow-Pro 有三种提示条件,主分析只用 Split+QA 条件,即数据集中的 qa_tfas_optimized_sol。Holo4 另有 OSWorld 2、AutomationBench 与 Agents' Last Exam 三个评测,用于补充对照;AutomationBench 的部分任务在其训练数据切分内 [14],相关结果只作参考。

SWE-bench Science 是唯一同时提供公开验证脚本结果与隐藏测试逐条结果的数据。它的通过率有三种口径:公开脚本整体通过 817/833,即 98.1%;隐藏测试全部通过 327/833,即 39.3%,等于该 Benchmark 的 Pass@1;隐藏测试按单条计的通过 7,736/9,828,即 78.7%。前两者是任务级,第三个是测试级,本文不把它们直接对比。

2.2 术语与分组

本文的基本分析单位是模型–任务组合,即一个模型在一个任务上的全部运行;在 Terminal-Bench 4.0/4.1 中,模型一方以提交为单位。有重复运行时,一个组合内有 3 到 8 次运行,可以估计这个模型在这个任务上的成功概率。

几个指标的含义如下:

指标

含义

回答的问题

平均成功率

多次运行中成功的比例

模型在这个任务上的成功概率

pass@k

k 次运行中至少成功一次

模型能否做出来,即能力上限

pass^k

k 次运行全部成功 [15]

模型能否稳定做出来,即可靠性

任务难度定义为该任务在同一 Benchmark 全部模型上的平均成功率。中等难度指平均成功率在 10% 到 70% 之间。难度是相对于被比较的这批模型而言的。

强档与弱档在每个 Benchmark 内按成功率排序划分,固定 harness 的数据只在同一 harness 内划分:

Benchmark

强档

弱档

候选数

Terminal-Bench 4.0 claude-code,max 档

前 5 个提交

后 5 个提交

17

Terminal-Bench 4.0 codex,max 档

前 3 个

后 3 个

8

Toolathlon

前 7 个模型

后 7 个

22

Toolathlon-Verified

前 4 个

后 4 个

12

OWE

平均 reward 前 5 个

后 5 个

15

SWE-TaskFlow-Pro

第 1 名

第 4 名

4

SWE-bench Science

claude-opus-5、gpt-6-astra

kimi-k3、glm-5.2、Qwen3.8-27B

7

Holo4

27B

35B A3B

2

强弱档反映的是模型与 harness、推理档位组合在一起的表现。Terminal-Bench 4.0/4.1 上每个模型只出现在一种 harness 下,SWE-bench Science 上 7 个模型分属 3 个 harness 且一一绑定,所以本文说的「模型差异」都应理解为模型与其 harness 组合的差异。

2.3 统计方法

方差分解。 在每个 Benchmark 内,把运行级结果的总方差拆成四部分:模型主效应,即模型整体强弱;任务主效应,即任务整体难易;模型 × 任务交互效应,即模型之间的相对强弱随任务变化的部分;以及同一组合内的运行间变异。交互效应是否超出运行间变异,用 F 检验判断。

区间估计。 除另有说明,95% 置信区间都按任务整体重抽样 2,000 次得到。同一任务的多次运行和多个测试彼此相关,按任务重抽样可以避免把相关的观测当成独立样本。

成败比较。 比较成功与失败的运行时,只在同一任务、同一 harness 内比较;需要排除运行长短的影响时,再按运行的动作数分成短、中、长三档分别比较,避免把运行长短的差异误读为行为习惯。

所有结论都是观察性关联。数据中没有任何一组运行改变了训练数据或 harness,因此本文不做因果归因。

3 模型差距如何随任务变化

3.1 模型之间的相对强弱随任务变化很大

图 1 把各 Benchmark 的运行级结果方差拆成四部分。深色两段是模型主效应与模型 × 任务交互效应,后者即模型之间的相对强弱随任务变化的部分。

模型主效应 交互效应 任务主效应 运行间变异 Terminal-Bench 4.0/4.1,56 个提交,每个组合约 5 次 17 31 Toolathlon-Verified,12 模型,每个组合约 3 次 28 Toolathlon,22 模型,每个组合约 3 次 34 SWE-TaskFlow-Pro,4 模型,每个组合 3 次 16 OWE,15 模型,每个组合 8 次,连续 reward 46 17 Holo4 OSWorld 与 AndroidWorld,2 模型 11 Holo4 AutomationBench,2 模型 12 Holo4 PinchBench,2 模型 SWE-bench Science,7 模型,每个组合 1 次 * 43 Multi-SWE-bench,24 个模型×harness,每个组合 1 次 * 15 21 Terminal-Bench 4.0/4.1 每个组合只取 1 次 * 17 60 0% 25% 50% 75% 100%

图 1 各 Benchmark 运行级结果方差的四项分解,条内数字为模型主效应与交互效应的百分比。标星号的行每个组合只有 1 次运行,交互效应与运行间变异无法分开;Holo4 只有 2 个模型。

有重复运行的 5 个 Benchmark 中,4 个的交互效应大于模型主效应:Terminal-Bench 4.0/4.1 为 30.7% 对 16.7%,Toolathlon 为 34.5% 对 6.3%,Toolathlon-Verified 为 27.8% 对 3.4%,SWE-TaskFlow-Pro 为 15.9% 对 1.3%。交互效应相对运行间变异的 F 检验在四者上分别为 4.10、2.55、2.39 与 2.34,p 值都小于 10⁻⁷⁰。也就是说,模型在不同任务上的相对表现差异,超出了重复运行本身能解释的范围。Toolathlon 与 Toolathlon-Verified 共用同一批任务,只能算半独立的两份证据。

OWE 是例外,而且依赖结果的定义。以连续 reward 计,模型主效应占 46.2%,交互效应只有 16.7%;把 reward 大于 0 记为成功后,模型主效应降为 9.3%,交互效应升到 27.9%。连续 reward 保留了「做得好」与「做得差」的幅度,15 个模型在这一幅度上的排序相当一致。

3.2 这种变化多数不代表模型偏科

交互效应大,常被解读为「模型各有所长」。Terminal-Bench 4.0/4.1 的数据可以把交互效应拆开,检验这种解读。

Terminal-Bench 4.0/4.1 交互效应:30.7 个百分点(占结果方差) 7.5 7.7 15.5 运行噪声 7.5 个百分点 成功率尺度效应 7.7 个百分点(2PL 留出交互份额 0.333 × (30.7 − 7.5)) 其余结构交互 15.5 个百分点

图 2 Terminal-Bench 4.0/4.1 模型 × 任务交互效应的构成,单位为占总方差的百分点。

交互效应占总方差的 30.7%,其中三部分有明确来源。

  • 运行间变异,7.5 个百分点。 同一提交在同一任务上重跑几次,结果本来就会变。这部分由组合内的运行间变异推算,约占交互效应的四分之一。

  • 成功率在两端被压缩,约 7.7 个百分点。 难题上强弱模型都接近 0,易题上都接近 1,只有中等难度的题能拉开差距。数值上,这会表现为「模型的差距随任务变化」,但只需要每个模型一个能力值、每个任务一个难度和区分度就能解释。用这样的模型拟合一半的运行,在另一半运行上能解释扣除随机波动后交互效应的 33.3%,区间 29.0% 到 36.4%。

  • 其余约 15.5 个百分点,才可能对应模型在特定任务上的相对优势。

其余部分里有一个可识别的结构,与 harness 有关:对其余交互效应做奇异值分解,第二个分量的得分主要由 harness 决定,harness 解释其变异的 62.5%,置换检验 p = 0.0001。跑在 claude-code 中的非 Anthropic 模型,在这个分量上的得分与 Anthropic 模型接近,0.51 对 0.59;同类模型跑在 mini-swe-agent 中则为 −0.38,差异的置换检验 p = 0.006。由于 codex 中只有 OpenAI 模型,模型与 harness 无法完全分开,这一结果只作为探索性观察。

3.3 按领域或任务类别分组,模型没有稳定的偏科

如果模型真有领域专长,把任务按领域分组后,模型之间的相对强弱应当在组与组之间系统地不同。检验方法是保持每个任务完整,只随机打乱任务所属的类别,比较真实分组与随机分组下模型 × 类别交互效应的大小。

表 2 模型 × 类别交互效应与随机分组的对照

数据

分组

观测值

随机分组均值

p

SWE-bench Science,以隐藏测试全通过计

7 个领域

1.6%

2.2%

0.88

SWE-bench Science,以测试通过比例计

7 个领域

1.5%

1.9%

0.82

Terminal-Bench 4.0/4.1,全部提交

8 个类别

6.2%

5.0%

0.066

Terminal-Bench 4.0/4.1,只看 claude-code

8 个类别

4.9%

4.2%

0.14

两个 Benchmark 上都没有检出超出随机分组的类别差异。在 SWE-bench Science 上,模型在化学类某个任务上做得好,并不能预测它在另一个化学任务上也做得好;差异落在单个任务上,没有落在领域上。

在 TheAgentCompany、τ²-bench 与 AppWorld 上用概化理论做的方差分解得到相近的结构:Agent 主效应在每个数据集上都不足总方差的 3%,Agent × 任务交互效应占 7% 到 23%,作者据此认为排行榜排出的更多是专长而不是能力 [16]。本文的结果补充了这一判断的另一面:交互效应中有相当部分来自运行间变异与成功率的两端压缩,而在 Benchmark 的类别粒度上,这种专长没有超出随机分组。

类别级的排名翻转同样没有超出随机。在 Terminal-Bench 4.0/4.1 上,总分较低的提交在至少一个类别上反超总分较高的提交、且差距超过 10 个百分点的情况,占提交对的 19.8%;随机打乱类别后为 24.7%,p = 0.81。差距超过 20 个百分点时为 5.1% 对 9.1%。真实类别产生的翻转反而少于随机类别。

这两个检验的边界是:类别由任务名称和描述中的关键词归并,每类只有 3 到 29 个任务,检验力有限。Terminal-Bench 4.0/4.1 全部提交上 p = 0.066 处于边缘,结论是「没有检出」,不等于类别专长不存在。按任务所需能力做的标注可能得到不同结果 [17],本文没有这类标注。

3.4 区分模型的主要是中等难度任务

0.0 0.1 0.2 0.3 0.4 0.5 0.0 0.2 0.4 0.6 0.8 1.0 任务在 56 个提交上的平均成功率 提交间标准差

图 3 Terminal-Bench 4.0/4.1 的 66 个任务上提交间成功率的标准差与任务平均成功率。每个点是一个任务;虚线是二值结果在各成功率下标准差的理论上限 √(p(1−p))。

平均成功率不超过 10% 的 11 个任务,提交间标准差的中位数只有 0.052;平均成功率在 40% 到 70% 之间的 25 个任务为 0.40,接近二值结果的上限 0.5。这一部分是数学上的必然:成功率接近 0 或 1 时,模型之间没有拉开差距的空间。它的实际含义有两点。第一,Benchmark 区分模型的能力几乎全部来自中等难度任务;SWE-bench Science 的 119 个任务中,35 个没有任何模型解出,13 个被全部模型解出,合计 40.3% 的任务对比较模型没有贡献。第二,中等难度是相对于被比较的模型而言的,同一批任务对下一代更强的模型可能就会饱和。

3.5 单次运行的结果不可靠

同一模型在同一任务上重跑,结果会变。图 4 左边显示,Terminal-Bench 4.0/4.1 的 3,597 个跑满 5 次的模型–任务组合中,46.5% 五次全部失败,17.9% 五次全部成功,35.6% 有成有败。

(a) 交互效应占结果方差份额(%,实测与理论预测) 0 20 40 60 每组合 1 次 60.5 理论 61.4 每组合 5 次 30.7 理论 30.6 虚线:理论预测 实心条:实测 (b) 5 次运行的结果组合构成(%,3,681 个模型–任务组合) 全失败 46.5 混合 35.6 全成功 17.9

图 4 (a)Terminal-Bench 4.0/4.1 模型–任务组合 5 次运行的结果构成;(b)每个组合只取 1 次运行与取全部 5 次运行时,交互效应占总方差的比例,实心为观测值,虚线标记为理论预测值。

这种波动可以用一个简单的模型解释。把每个模型–任务组合看作一个成功概率为 p 的伯努利试验,每次运行的方差为 p(1−p):p 接近 0 或 1 时结果稳定,p 接近 0.5 时波动最大。只跑 1 次时,这种随机波动会全部计入「模型在这个任务上强或弱」;跑 k 次取平均,随机部分缩小为 1/k。这是概化理论(generalizability theory)中测量误差随重复次数衰减的标准结论 [18][19],也是 LLM 评测中按题目先平均多次运行、再计算标准误的依据 [20]。

用 Terminal-Bench 4.0/4.1 的组合内方差推算,每个组合只跑 1 次时交互效应应占 61.4%,跑 5 次时应占 30.6%;实测分别为 60.5% 与 30.7%。扣除随机波动后,真实的模型 × 任务交互效应约为 22.9%。所以每个组合只运行一次的 Benchmark 上测得的交互效应,例如 SWE-bench Science 的 43.0%,只能当作上界。

随机波动同样影响模型排名。图 5 用 Terminal-Bench 4.0/4.1 的 1,540 个提交对估计排反的概率:以 5 次运行的平均成功率为参照,每个任务只取 1 次或 3 次运行重新排名,各抽样 200 次。

0 10 20 30 40 50 配对次序错误率(%) 0–2 2–5 5–10 10–20 两模型真实成功率差(个百分点) 0.488 0.263 0.078 0.005 0.353 0.053 0.001 0 每个任务 1 次 每个任务 3 次

图 5 两个提交按单次或 3 次运行排名时与参照顺序相反的概率,横轴为两者在参照中的成功率差距。

两个提交真实差距为 2–5 个百分点时,每个任务只跑 1 次有 26.3% 的概率排反,跑 3 次降到 5.3%;差距为 5–10 个百分点时,分别为 7.8% 与 0.1%;差距超过 10 个百分点时,单次运行也基本不会排错。单次运行还会让类别级排名翻转显得更普遍:差距超过 10 个百分点的翻转从 19.8% 升到 31.5%。

消除这种误差靠的是多次运行取平均成功率。pass@k 衡量的是能力上限,pass^k 衡量的是可靠性,两者回答不同的问题,都不消除随机误差。pass@1 相近的模型,可靠性可以差很多:Terminal-Bench 4.0 上 Sonnet 5.5 与 Kimi K3.1 Pro 的单次成功率都约为 0.61,5 次全部成功的概率分别为 0.500 与 0.288。

4 强模型与弱模型差在哪里

4.1 差距大时弱模型做不出,差距小时做不稳

在强档能稳定解出的任务上,看弱档的每个模型–任务组合属于哪种情况:全部运行都失败、部分成功、全部成功。全部失败说明弱模型在这个任务上做不出,部分成功说明能做出但不稳定。

从未解出 有时解出 总能解出 n 为模型–任务组合数 Terminal-Bench 4.0 claude-code n=125 42 54 差 40.9 OWE reward≥0.5 n=25 92 8 差 40.5 Terminal-Bench 4.0 codex n=91 45 45 10 差 37.7 Toolathlon n=182 53 36 11 差 23.8 Toolathlon-Verified n=332 13 33 54 差 17.4 SWE-TaskFlow-Pro n=317 12 27 61 差 13.3 Holo4 OSWorld+AndroidWorld n=359 12 85 差 4.7 数字为各类组合的百分比;按强–弱单次运行差距从大到小排序。

图 6 在强档能稳定解出的任务上,弱档模型–任务组合中全部失败、部分成功与全部成功的比例。各行按强弱两档的单次成功率差距排序,差距标在右侧。

表 3 强弱两档的单次成功率与多次运行指标

Benchmark

运行次数 k

单次成功率 强 / 弱

pass@k 强 / 弱

弱档全部失败的组合

弱档全部成功的组合

OWE,reward ≥ 0.5

8

0.409 / 0.004

0.631 / 0.023

92%

0%

Toolathlon

3

0.354 / 0.116

0.487 / 0.206

53%

11%

Terminal-Bench 4.0 codex

5

0.560 / 0.186

0.695 / 0.362

45%

10%

Terminal-Bench 4.0 claude-code

5

0.596 / 0.186

0.782 / 0.427

42%

3%

Toolathlon-Verified

3

0.761 / 0.587

0.852 / 0.734

13%

54%

SWE-TaskFlow-Pro

3

0.560 / 0.427

0.657 / 0.533

12%

61%

Holo4 OSWorld 与 AndroidWorld

3

0.849 / 0.802

0.917 / 0.881

3%

85%

OWE、Toolathlon 与 Terminal-Bench 4.0 的两个 harness 层上,弱档单次成功率只有强档的三分之一或更低,弱档在 42% 到 92% 的这类组合上一次都没有成功。多给几次机会也补不上:Terminal-Bench 4.0 claude-code 上,允许跑 5 次、只要成功一次就算,两档差距只从 0.41 缩小到 0.36;Toolathlon 与 OWE 上,pass@k 的差距反而比单次成功率的差距更大,因为强档在有时能解的任务上多试几次就解出来了,弱档仍然解不出。弱档单次成功率达到强档四分之三以上时,情况相反:Toolathlon-Verified、SWE-TaskFlow-Pro 与 Holo4 上,弱档在 54% 到 85% 的这类组合上每次都能做对,差距主要来自偶尔失手。

因此,「弱模型只是不稳定,多采样就能追上」只在强弱差距小的时候成立。差距是否属于可靠性问题,取决于任务对这两个模型分别有多难。

强弱差距也集中在中等难度任务上。图 7 按任务难度分段,给出各 Benchmark 的强弱差距。

0 20 40 60 强–弱单次运行差距(%)随任务难度的变化 ≤10% 10–40% 40–70% >70% 任务难度(该 Benchmark 全部模型平均成功率) Terminal-Bench 4.0 claude-code Toolathlon Toolathlon-Verified OWE reward≥0.5 Multi-SWE Holo4 OWE 的 40–70%(1 个任务)与 >70%(0 个任务)区间因少于 3 个任务未绘制。

图 7 强弱两档的成功率差距随任务难度的变化。难度为该任务在本 Benchmark 全部模型上的平均成功率;任务数少于 3 的分段不画。

Terminal-Bench 4.0 claude-code 上,平均成功率不超过 10% 的最难一段,差距只有 0.08,40% 到 70% 一段为 0.57。Toolathlon、Multi-SWE-bench 与 Holo4 上的形状相同:最难的任务两档都做不出,最容易的任务两档都做得出,差距在中间。在 SWE-bench Science 上,强模型解题所需的工作量越大,弱模型越可能完全解不出:只用强模型成功运行的调用数、写入数与测试数来预测弱模型是否完全失败,留一任务验证的 AUC 为 0.72,区间 0.60 到 0.83;在其他 Benchmark 上,这类任务需求特征的预测力不显著。

4.2 强弱模型都以交出错误结果为主,弱模型更常中途中断

(a) Terminal-Bench 4.0 claude-code 失败运行的结局(%,强档 n=666,弱档 n=1331) 0 25 50 75 100 声称完成·强档 81.2 声称完成·弱档 81.5 出现中断·强档 9.3 出现中断·弱档 44.8 强档 弱档 中断为 API/格式、上下文、超时、无交付物的并集 (b) 剔除中断失败后强–弱差距被闭合的上界份额(%,95% CI) 0 25 50 75 100 Terminal-Bench 4.0 19.8 Toolathlon 29.6 Toolathlon-Verified 53.6 OWE 17.6 Holo4 OSWorld+AndroidWorld 16.4

图 8 (a)Terminal-Bench 4.0 claude-code 强弱两档的失败运行中,以声称完成结束的比例,以及过程中出现过中断的比例;(b)假设弱档的中断类失败都达到它在同一任务上非中断运行的成功率,强弱差距最多能缩小的比例。

两档失败运行的收尾方式几乎相同:在 Terminal-Bench 4.0 claude-code 上,以声称完成结束的比例强档为 81.2%,弱档为 81.5%。弱档的失败运行更常在过程中出现中断,包括上下文耗尽后续跑、API 或格式错误、没有写出要求的交付物,合计占 44.8%,强档为 9.3%。两组比例统计的口径不同,可以重叠:弱档至少有约四分之一的失败运行既在过程中出过中断,最后又照样声称完成。

中断能解释的差距有限。假设弱档的中断类失败都能达到它在同一任务上非中断运行的成功率,强弱差距最多缩小 19.8%,区间 13.4% 到 28.7%;其中上下文耗尽一项占 11.8 个百分点。其他 Benchmark 上的这一上界为:OWE 17.6%,其中弱档 41% 的运行提前提交、40% 出现错误循环,强档分别为 0.4% 与 3%;Toolathlon 29.6%,主要是没有写入任务要求的服务;Holo4 16.4%。Toolathlon-Verified 是例外,为 53.6%,但区间很宽,为 32% 到 91%。

所以在多数 Benchmark 上,强弱差距的主体是同一种失败发生的频率:模型走完整个流程,声称完成,交出的结果是错的。这与终端 Agent 自我验证的研究一致:Agent 几乎都会在提交前做验证,但只检出 61.4% 的错误候选,检出后只修复了 49.4% [6]。

4.3 公开验证大家都能通过,差距在隐藏测试上

SWE-bench Science 的每个任务都附带一个公开验证脚本,Agent 可以自行运行;评分使用 Agent 看不到的隐藏测试。

SWE-bench Science:公开脚本通过率与隐藏用例全通过率(%) 公开脚本通过率 隐藏用例全通过率 每个模型 119 次运行 0 25 50 75 100 gpt-6-astra 100.0 50.4 claude-opus-5 96.6 47.9 gpt-5.6-sol 98.3 40.3 deepseek-v4-pro 100.0 39.5 kimi-k3 97.5 35.3 glm-5.2 94.1 31.9 Qwen3.8-27B 100.0 29.4 通过率(%)

图 9 SWE-bench Science 7 个模型的公开验证脚本通过率与隐藏测试全部通过率,按隐藏测试通过率排序。

7 个模型让公开脚本通过的比例都在 94% 到 100% 之间,最弱的 Qwen3.8-27B 为 100%;隐藏测试全部通过的比例则从 29.4% 到 50.4%。模型之间的差距几乎全部落在公开验证没有覆盖的条件上。强模型的优势在于考虑得更全面,满足了没有明说的要求,而不只是满足已知的测试。

具体差在哪里,可以用修改的文件来看。以同一任务上成功运行改过的源文件作为参照位置,比较失败运行改到了多少参照文件。glm-5.2 的大部分编辑没有记录在轨迹中,不计入这项比较。

(a) 失败运行触及的参考文件(占该档失败运行,%) 0 25 50 75 100 强档 n=43 未触及 9.3 触及部分 46.5 触及全部 44.2 弱档 n=87 未触及 13.8 触及部分 56.3 触及全部 29.9 (b) 失败类型构成(占该档失败运行,%) 0 25 50 75 100 强档 近失 30.6 中断 10.7 部分 58.7 弱档 近失 18.6 中断 22.7 部分 58.7 近失:非中断且至少 80% 隐藏用例通过;失败运行强档 121、弱档 242。

图 10 SWE-bench Science 失败运行的两项刻画:(a)改到参照文件的程度;(b)失败的类型,「差一点」指隐藏测试通过 80% 以上,「中断」指超时、没有修改仓库源码、一条隐藏测试都没过或公开脚本没跑通。

  • 找对了地方。 失败运行一个参照文件都没改到的比例,弱档 13.8%,强档 9.3%,在共同任务上配对比较的差异为 +0.2 个百分点,区间 −11.8 到 +13.3,没有差别。

  • 改得不全。 在改到了参照文件的失败运行中,弱档比同一 harness 的成功运行少修改 3.4 次,区间 1.7 到 5.3,少改 0.47 个文件,区间 0.09 到 0.90。只改到部分参照文件的失败运行,弱档占 56%,强档占 47%。

  • 离通过更远。 强档的失败中 31% 是「差一点」,弱档只有 19%;弱档的失败中 23% 属于中断,强档为 11%。

弱档独有的失败测试中,有一类比例偏高:要求同一语义的不同表示给出相同结果的测试,例如往返变换、多个计算后端、新旧接口一致。它们占弱档独有失败的 18.4%,在强档自己的失败中只占 6.7%。这类测试只有 27 个,由测试名关键词识别,同一任务内的比较不显著,只作为描述。

这些结果与 ORACLE-SWE 的干预实验方向一致 [5]:直接给弱模型编辑位置,成功率只提高 6 到 12 个百分点;给它能复现问题的测试,提高 19 到 28 个百分点。弱模型的瓶颈不在找到改哪里,而在判断改完之后是否真的满足了全部要求。

5 哪些信号能区分成败

5.1 过程特征反映模型风格,与单次运行成败基本无关

轨迹中可以计算大量过程特征:调用次数、读写占比、第一次修改出现的位置、重复调用、同一文件反复改写、测试命令等。这些特征常被用作轨迹质量评分或过程奖励的依据。检验它们是否携带成败信息,方法是在每个 Benchmark 上用同一组特征、同一个分类器做两件事:识别这条运行是哪个模型跑的;以及在同一模型–任务组合内,区分成功的运行与失败的运行。两项都按任务分组交叉验证,测试时的任务在训练中没有出现过。

区分成败用 AUC 衡量:从同一模型–任务组合中随机取一次成功的运行和一次失败的运行,分类器给成功运行打分更高的概率。0.5 等于随机,1.0 表示总能分对。

模型识别准确率 组合内成功率 AUC 准确率 随机猜测 多数类基线 0 25 50 75 100 0.4 0.5 0.6 0.7 Terminal-Bench 4.0/4.1 claude-code 34.4 Terminal-Bench 4.0/4.1 codex 48.3 Toolathlon 45.4 Toolathlon-Verified 58.8 OWE 62.4 SWE-TaskFlow-Pro 91.9 Holo4 OSWorld+AndroidWorld 72.9 已排除 SWE-bench Science 两行:其 AUC 为任务内跨模型配对,不属组合内比较。

图 11 同一组过程特征在两项任务上的表现。(a)识别模型身份的准确率,灰色短线为随机猜测水平;(b)在同一模型–任务组合内区分成败的 AUC 及 95% 区间,竖线为 0.5。SWE-bench Science 每个组合只有一次运行,无法在组合内比较,未列入。

表 4 过程特征识别模型与区分成败的能力

Benchmark

模型数

识别模型的准确率

随机猜测

组合内区分成败的 AUC

Terminal-Bench 4.0/4.1 claude-code

18

0.34

0.056

0.51 [0.48, 0.54]

Terminal-Bench 4.0/4.1 codex

9

0.48

0.111

0.51 [0.47, 0.56]

Toolathlon

22

0.45

0.045

0.53 [0.50, 0.57]

Toolathlon-Verified

12

0.59

0.083

0.49 [0.44, 0.54]

OWE

15

0.62

0.067

0.53 [0.47, 0.58]

SWE-TaskFlow-Pro

4

0.92

0.250

0.51 [0.48, 0.55]

Holo4 OSWorld 与 AndroidWorld

2

0.73

0.500

0.59 [0.51, 0.66]

同一组特征识别模型的准确率是随机猜测的 3 到 13 倍,在同一模型–任务组合内区分成败的 AUC 则在 0.49 到 0.53 之间,只有 Holo4 略高。Terminal-Bench 4.0/4.1 的两个 harness 层中,总是猜最常见模型的基线准确率较高,分别为 0.19 与 0.39,但识别准确率仍明显高于它;其余 Benchmark 上这一基线与随机猜测接近。对识别模型贡献最大的是调用数、bash 调用数、token 数与运行时长这类体现工作量和冗长度的特征。

用这些过程特征打分,分数反映的主要是模型自身的行为风格,与这次运行是否成功基本无关。

两类常被当作能力信号的过程指标属于同一情况。

从任务说明自动生成的检查项。 在 Terminal-Bench 4.0/4.1 上,按固定规则从 66 个任务的说明中生成 201 条可自动判定的检查项,包括是否写出了指定的输出文件、写完后是否读回、首次写入前是否读过输入、是否改动了禁止修改的路径、是否运行过测试,共得到 80,314 条判定。人工抽查 21 条,18 条判定正确。这些检查项在模型之间差异明显,单条检查项的满足率中模型身份解释的方差中位数为 37.4%;但在同一 harness 同一任务内,以全部检查项的满足比例区分成败,AUC 为 0.501,覆盖 262 个 harness–任务组。它们检查的是行为,成功和失败的运行都会写文件、读回、跑测试,所以判定再准确也分不出成败。

「强模型动手更早」。 第一次修改出现在运行中的位置,在 7 个 Benchmark 中有 5 个呈现强档更早的规律:Terminal-Bench 4.0 claude-code 层效应量 d = −0.54,OWE 上 d = −1.09,SWE-TaskFlow-Pro 上 d = −0.71,Toolathlon 上 d = −0.38。但在同一模型–任务组合内比较成功与失败的运行,这一差别基本消失:SWE-TaskFlow-Pro 上 d = −0.01,OWE 上 d = −0.19,Toolathlon-Verified 不显著。Multi-SWE-bench 上方向相反。强模型整体上动手更早,这是它们的风格;同一个模型这次做成而那次没做成,并不取决于动手的早晚。

与成败相关的过程差别集中在修改上。在 SWE-bench Science 的同一任务、同一 harness 内,成功运行的修改占动作的比例比失败运行高 4.8 个百分点,区间 3.1 到 6.3,读取占比低 5.7 个百分点;能从轨迹识别出公开脚本首次通过的运行有 481 条,主要来自 Claude Code 与 Kimi Code。在这些运行中,通过之后成功运行比失败运行多修改 3.9 次,区间 1.4 到 6.5;继续验证与立即结束的比例两组接近,分别为 96.2% 对 92.3% 与 2.7% 对 5.1%。这与第 4.3 节「弱模型改得不全」是同一个现象。

5.2 细粒度测试主要用于诊断

把任务拆成测试逐条评测,并不会同比例地增加区分模型的信息。SWE-bench Science 中有 209 个隐藏测试至少被一个模型挂过,分布在 83 个任务上,构成 581 个模型–任务组合。

236 0 0 0.1 19 0.2 28 0.3 2 0.4 32 0.5 4 0.6 29 0.7 14 0.8 0 0.9 217 1 组合内通过的测试比例(共 581 个模型–任务组合)

图 12 SWE-bench Science 581 个模型–任务组合内通过的测试比例。两端深色为全部失败与全部通过,中间浅色为部分通过。

581 个组合中,236 个的测试全部失败,占 40.6%;217 个全部通过,占 37.3%;部分通过的只有 128 个,占 22.0%。同一任务的测试依赖同一段实现,实现方向对了,多数测试一起通过;方向错了,一起失败。由此有两点含义:想提高评测区分模型的能力,增加任务数比在每个任务里增加测试更有效;细粒度测试的价值在诊断,即在那 22% 部分通过的组合里,定位模型具体没有满足哪一条要求。

5.3 失败归因分类在当前证据下不可靠

用大语言模型对 SWE-bench Science 的 506 条失败运行做失败环节分类,例如定位错误、实现错误、修改不全,两次独立判定之间的一致性很低:Cohen κ 在第一版 11 类方案上为 0.221,修订后的第二版在全部 60 条复核样本上为 0.251。分歧集中在「没找对位置」与「找对了但写错」之间,这条边界需要知道 Agent 为什么改那里,而轨迹只记录了改了什么。详细结果与已有研究的对照见附录 A。

6 讨论

6.1 「模型 A 比模型 B 强」需要说明在哪些任务上、按什么指标

模型之间的差距随任务变化很大,但这种变化的多数部分来自模型以外的因素:约四分之一是运行波动,另约四分之一是成功率在两端的压缩,按领域分组又看不出稳定的专长。因此,「某模型擅长某类任务」这类判断在 Benchmark 的类别粒度上通常缺少证据,按类别出排行榜或按领域选模型之前,需要先确认类别差异超出了随机分组。总分本身也对任务构成很敏感:区分模型的信息几乎全部来自中等难度任务,换一批任务,名次就可能移动。

比较模型时,应当同时说明比较的任务集合与指标。平均成功率回答「平均能做成多少」,pass@k 回答「能不能做出来」,pass^k 回答「能不能稳定做出来」。第 4.1 节的结果显示,这三个问题的答案可以不同:OWE 上多跑几次让强弱差距扩大,Holo4 上则让差距缩小。

6.2 弱模型主要差在结果的完整性

强弱模型都会走完流程、做验证、声称完成;中途中断的差别存在,但只解释一小部分差距。差距的主体是交出的结果是否正确,而结果不正确的典型形式是改得不全:在 SWE-bench Science 上,弱模型找到了要改的位置,却漏掉了相关的文件和要同步修改的地方,对隐藏测试会检查的情形覆盖得少。公开验证脚本几乎所有模型都能通过,所以它对区分强弱没有帮助。

这与已有的干预研究一致:提供编辑位置对弱模型帮助有限,提供能暴露问题的测试帮助最大 [5];Agent 普遍会验证,但验证的检出率和修复率不高 [6];中途把轨迹交给更强的模型,只能回收不到一半的质量差距 [21]。结合这些研究,强模型的优势更可能在于对「什么才算做完」的判断更准确;这一点在动作统计中看不到,本文的数据也不能直接检验。

6.3 能力测量应依赖结果的语义,过程统计只能作为补充

把过程特征用于轨迹质量评分或过程奖励时,分数主要反映模型的行为风格。以某个强模型的轨迹为样板,奖励与它相似的行为,鼓励的是模仿这种风格,不一定是把任务做对。在本文检验过的信号中,能区分单次运行成败的主要是判定结果是否正确的测试。

细粒度测试在评测设计上的作用有限,在诊断上的作用明确。增加任务数比在每个任务里增加测试更能提高区分度;在部分通过的模型–任务组合里,细粒度测试能指出模型具体没满足哪条要求,这类信息可以直接用于定位能力短板和构造训练数据。

6.4 对评测实践的建议

场景

建议

依据

比较两个模型

每个任务至少运行 3 次,以平均成功率比较;差距小于 2 个百分点时不下结论

第 3.5 节

报告模型画像

同时报告平均成功率、pass@k 与 pass^k

第 3.5、4.1 节

按类别出排行榜

先用随机分组检验类别差异是否超出随机

第 3.3 节

构建任务集

保留对被比较模型处于中等难度的任务,定期替换饱和任务

第 3.4 节

设计隐藏测试

覆盖公开验证之外的条件,例如等价性、边界情形与关联位置的同步修改

第 4.3 节

使用过程奖励

不以过程统计作为成败的代理;需要时先检验它在同一任务内能否区分成败

第 5.1 节

7 局限

表 5 局限与受影响的结论

局限

受影响的结论

处理

模型与 harness 在主要数据中绑定,没有同一模型跨 harness 的运行

全部「模型差异」

称为模型与 harness 组合的差异;harness 相关结果只作探索性观察

各 Benchmark 的任务设计、结果定义不同,OWE 为连续 reward

跨 Benchmark 的比较

每个 Benchmark 内单独分析,只比较方向与相对大小

SWE-bench Science 与 Multi-SWE-bench 每个组合只运行一次

第 3.1、4.3 节

交互效应只作上界;Science 的强弱比较只在任务层面

强弱档按成功率排名划分,含 harness 与推理档位

第 4 节

在同一 harness 内划分,并在 codex 层复核

类别由关键词归并,每类任务数少

第 3.3 节

结论为「没有检出」,不推广为专长不存在

参照位置由成功运行的修改文件构成,不是最小修复;glm-5.2 编辑缺失,Codex 编辑内容不可见

第 4.3 节

排除 glm-5.2;Codex 只按路径计数

等价性测试由测试名关键词识别,没有隐藏测试源码

第 4.3 节

只作描述

过程特征只用了结构化统计,没有用命令或代码的文本内容

第 5.1 节

结论限于这类特征;基于内容的特征可能携带成败信息

失败归因分类没有人工金标

第 5.3 节与附录 A

只报告一致性,不使用分类份额

没有重新运行与干预,所有结果都是观察性关联

全部

不做因果归因;与已发表的干预研究对照

附录 A 失败归因分类的一致性

SWE-bench Science 的 506 条失败运行由大语言模型逐条归入失败环节。判定依据是一个证据包,包含失败断言、异常、失败测试名、最终声明与部分编辑记录,不含完整工具日志、终端输出与隐藏测试源码。

第一版方案有 11 类:意图理解、定位、规划与假设、工具选择、实现、遗漏、验证判据、恢复、环境、领域知识、长程与资源。其中工具选择从未被使用,环境只用了 1 次。另一次独立判定重标其中 30 条。第二版重写了类别定义,增加次因、因果角色、责任组件与证据等级,并允许判为「证据不足」;506 条全部重标后,再独立重标 60 条,其中 30 条与第一版的重标样本相同。

表 A1 两版分类的一致性

口径

样本

逐条一致

机会一致

Cohen κ

第一版,11 类

30

40.0%

23.0%

0.221

第一版合并为 7 / 5 / 4 / 3 类

30

43% / 53% / 50% / 47%

—

0.254 / 0.211 / 0.164 / 0.200

第二版,同 30 条

30

76.7%

64.7%

0.340

第二版,全部 60 条

60

66.7%

55.5%

0.251

第二版二级标签

60

38.3%

—

0.158

Cohen κ 扣除了按两次判定各自的类别分布计算的机会一致 [22];按常用的解读档位,0.21 到 0.40 属于「一般」一致 [23]。第二版把逐条一致从 40.0% 提高到 76.7%,但机会一致同时从 23.0% 升到 64.7%,因为第二版把 30 条中的 22 条判为同一类「实现正确性」,κ 只从 0.221 升到 0.340;扩大到 60 条后为 0.251。合并类别也不改善 κ。

第二版 60 条中有 20 条不一致,主要在两条边界上:定位与实现之间 6 次,修改覆盖与实现之间 7 次。第一版的主要分歧也在同一位置:实现与规划假设之间 5 次,定位与遗漏之间 3 次。换一套类别定义没有移动这条边界,说明限制来自证据而不是类别命名:证据包能显示改了什么,不能显示为什么改那里。

已有研究报告过更高的一致性,但测的是不同的东西。MAST 的 κ = 0.88 是三位专家标注者之间的一致性,标注对象是完整轨迹,经过三轮标注、讨论与类别修订后在最后几轮达到;换到未参与构建的系统上为 0.79 [24]。Model or Harness 的 κ = 0.76 是 GPT-5.5 与单个人工标注者之间的一致性,只在交互边与责任侧这一较粗层级上计算,样本是构建分类时审阅过的 40 个案例 [25]。本文的 κ 是同一裁判模型两次运行之间的一致性,没有人工金标,证据也不完整。要让这类分类可用,需要补全工具日志与编辑 diff,或把定位、实现、覆盖改写成可以从轨迹直接计数的事件。

附录 B 统计细节

方差分解。 对运行级结果 y,模型平方和与任务平方和按各自的边际均值计算,组合平方和按组合均值计算;交互效应 = 组合 − 模型 − 任务,运行间变异 = 总 − 组合。Terminal-Bench 4.0/4.1 以提交为模型单位;Multi-SWE-bench 以模型 × harness 为单位,先按轨迹指纹去重。交互效应的 F 检验以交互均方除以运行间变异的均方,二值结果下为近似检验。

交互效应的构成。 运行间变异对交互效应的贡献由组合内方差推算。刻度效应用双参数逻辑模型估计:logit p = a_任务 × (θ_模型 − b_任务),在每个组合的一半运行上拟合,在另一半上计算它能解释的、扣除运行间变异后的交互效应,重复 30 次取均值。harness 结构对扣除刻度效应后的残差矩阵做奇异值分解,harness 的作用用 10,000 次标签置换检验。

单次运行的理论预测。 记每个组合跑 k 次时测得的交互效应为 I_k,组合内运行方差为 V,则 I_k ≈ I_∞ + V/k。由 5 次运行的数据估计 V 与 I_∞,再预测 k = 1 时的 I_1。

排名可靠性。 以每个提交在全部任务、全部运行上的平均成功率为参照;每个任务随机保留 1 次或 3 次运行,重新计算排名,统计每个提交对与参照顺序相反的比例,重复 200 次。

类别随机分组检验。 保持每个任务的全部结果不变,在任务之间随机打乱类别标签,类别大小不变,重新计算模型 × 类别交互效应,重复 2,000 到 5,000 次。

中断类失败的上界。 把弱档中出现中断的失败运行,替换为弱档在同一任务上非中断运行的成功率,重新计算强弱差距,报告差距缩小的比例。

模型识别与组合内成败。 两项任务使用同一组过程特征与带 L2 正则的逻辑回归,按任务分 5 折交叉验证。组合内 AUC 只在同一模型–任务组合中同时有成功与失败的运行之间计算。

参照位置。 SWE-bench Science 中,同一任务上强档与中档成功运行修改过的非测试源文件的并集。

参考文献

[1] Zhu, P., Li, L., Lyu, Y., et al. UniACE: A Unified Framework for Evaluating LLM Agentic Capabilities. arXiv:2605.27898, 2026. 预印本。

[2] Li, Y., Zhou, Y., Teng, Y. L., et al. Finding the Right Fit: Model-Harness Interactions across Agent Tasks. arXiv:2610.00917, 2026. 预印本。

[3] Ma, W., Chen, Z., Gu, J., Li, T., Liu, S., Jiang, L. Same Signal, Different Semantics: A Cross-Framework Behavioral Analysis of Software Engineering Agents. arXiv:2605.18332, 2026. 预印本。

[4] Bjarnason, B. H., Silva, A., Monperrus, M. On Randomness in Agentic Evals. arXiv:2602.07150, 2026. 预印本。

[5] Li, K., Jin, Q., Zhu, L., et al. ORACLE-SWE: Quantifying the Contribution of Critical Information Signals on SWE Agents. Findings of EACL 2027. arXiv:2604.07789.

[6] Luo, Y., Wei, S., Wang, D., et al. Can Terminal Agents Trust Their Own Verification? Diagnosing and Improving Self-Verification. arXiv:2609.38812, 2026. 预印本。

[7] Merrill, M. A., Shaw, A. G., Carlini, N., et al. Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces. arXiv:2601.11868, 2026. 预印本。排行榜数据:https://www.tbench.ai/

[8] Li, J., Zhao, W., Zhao, J., et al. The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution. ICLR 2026. arXiv:2510.25726.

[9] HKUST NLP Group. Toolathlon-Verified Trajectories. Hugging Face dataset hkust-nlp/Toolathlon-Verified_Trajectories, 2026. https://huggingface.co/datasets/hkust-nlp/Toolathlon-Verified_Trajectories

[10] Mercor. OpenWorldEngineer-Bench. Web page, 2026. https://openworldengineer.mercor.com/

[11] Slinko, I., Golubev, Y., Titov, S. Coding-Agent Benchmarks Should Match Their Users' Task Flows. arXiv:2610.09633, 2026. 预印本。轨迹数据:JetBrains Research, SWE-TaskFlow: SWE-Bench Pro Agent Runs, Hugging Face dataset JetBrains-Research/SWE-TaskFlow-SWE-Bench-Pro-Trajectories.

[12] Xu, Z., Lu, J., Zheng, Y., Wang, Y., Qiu, X. SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science? arXiv:2608.19799, 2026. 预印本。

[13] Zan, D., Huang, Z., Liu, W., et al. Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving. arXiv:2504.02605, 2025. 轨迹数据:ByteDance Seed, Multi-SWE-bench_trajs, Hugging Face.

[14] H Company. Holo4 release notes and trajectories. Web page and Hugging Face dataset Hcompany/trajectories, 2026. https://hcompany.ai/newsroom/holo4

[15] Yao, S., Shinn, N., Razavi, P., Narasimhan, K. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045, 2024. 预印本。

[16] Srinivasan, V. Deployment Decision Reliability: A Generalizability-Theory Framework for Sizing Long-Horizon Agent Evaluations. arXiv:2608.11323, 2026. 预印本。

[17] Zhou, L., Pacchiardi, L., Martínez-Plumed, F., et al. General scales unlock AI evaluation with explanatory and predictive power. Nature 652, 58–67, 2026. doi:10.1038/s41586-026-10303-2

[18] Cronbach, L. J., Gleser, G. C., Nanda, H., Rajaratnam, N. The Dependability of Behavioral Measurements: Theory of Generalizability for Scores and Profiles. Wiley, 1972.

[19] Brennan, R. L. Generalizability Theory. Springer, 2001. ISBN 978-0-387-95282-6.

[20] Miller, E. Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. arXiv:2411.00640, 2024. 预印本。

[21] Ganz, R., Shpigel Nacson, M., Kalyanpur, A., Litman, R. The Handoff Tax: Continuing Non-Native Trajectories in LLM Agents. arXiv:2608.24358, 2026. 预印本。

[22] Cohen, J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement 20(1), 37–46, 1960. doi:10.1177/001316446002000104

[23] Landis, J. R., Koch, G. G. The Measurement of Observer Agreement for Categorical Data. Biometrics 33(1), 159–174, 1977. doi:10.2307/2529310

[24] Cemri, M., Pan, M. Z., Yang, S., et al. Why Do Multi-Agent LLM Systems Fail? NeurIPS 2025 Datasets and Benchmarks Track. arXiv:2503.13657.

[25] Raj, H., Gupta, V., Mahmoud, A., et al. Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures. arXiv:2607.28802, 2026. 预印本。