强弱模型差在哪里:基于 8 个 Benchmark 运行轨迹的实证分析
基于公开 Benchmark 运行轨迹,开展跨模型、跨 Benchmark 的 Agent 实证研究,覆盖终端、工具调用、仓库修复与 GUI 操作等任务,涉及 18 个数据源、约 20 万条运行。构建统一的轨迹行为表示与量化分析方法,结合方差分解、重复运行可靠性分析、强弱模型分层对照与过程特征可辨识性检验,分析模型差异随任务的变化、多次运行稳定性、强弱模型的失败形态,以及过程行为与任务结果之间的关联,界定常用行为指标的适用边界。研究为 Agent 能力评估、模型诊断与选型、Harness 优化及过程奖励设计提供实证依据。