Claude Opus 4.7 · OSWorld-Verified · Verified benchmark; evaluation protocol noted per source · 成绩与配置

Claude Opus 4.7 的 OSWorld-Verified · Verified benchmark; evaluation protocol noted per source 记录。本次发布有 4 条成绩记录,含 4 条精确值(可含历史记录),附 5 条来源定位。

成绩与评测条件

Claude Opus 4.7 · OSWorld-Verified 成绩与配置
指标与成绩配置与评测条件出处
First-attempt success rate78%原文 78.0% · 单位 %
公布 未确认

已更正 · 82.3%。官方后续脚注说明评测方式有变并更新旧值;同文图表另列 82.8%,故保留冲突。

结果冲突待核对,精确排名不采用。

发布表报告值
设置
System Card §8.1 standard configuration: adaptive thinking at max effort; default temperature/top_p; averaged over 5 trials. Context sizes are evaluation-dependent and do not exceed 1M tokens; retain all section-specific exceptions on their results.
未知项
Per-benchmark tools, context/token cap, resolution, trial count, harness and other exceptions are recorded on each result when stated.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
OSWorld-Verified;发布首表报告值。
条件
First-attempt success rate at 1080p, maximum 100 action steps, average over five runs. System Card table/prose says 78.0%; Figure 8.9.4.A labels 77.9%.
First-attempt success rate82.8%原文 82.8% · 单位 %
公布

结果冲突待核对,精确排名不采用。

OSWorld-Verified 更新评测
设置
Opus 4.8 发布说明称修改评测方式以更贴近真实使用;Opus 4.7 更新值在同文图表与脚注不一致。
未知项
更新后的完整 harness 与测试集配置未从系统卡全文核读。
工具
工具条件未记录
推理预算
未记录
框架
未记录
协议
OSWorld-Verified;后续更新评测。
条件
Opus 4.8 图表列 82.8%,但同文脚注声明更新为 82.3%;与脚注值冲突,权威数值待核。
在排名中查看此成绩
First-attempt success rate82.3%原文 82.3% · 单位 %
公布

更正记录 · 替代 78%。官方后续脚注说明评测方式有变并更新旧值;同文图表另列 82.8%,故保留冲突。

结果冲突待核对,精确排名不采用。

OSWorld-Verified 更新评测
设置
Opus 4.8 发布说明称修改评测方式以更贴近真实使用;Opus 4.7 更新值在同文图表与脚注不一致。
未知项
更新后的完整 harness 与测试集配置未从系统卡全文核读。
工具
工具条件未记录
推理预算
未记录
框架
未记录
协议
OSWorld-Verified;后续更新评测。
条件
同一 Opus 4.8 发布页的解释脚注明确称新值为 82.3%,但主图表列 82.8%。此记录不能据现有材料判断哪一数值应优先。
在排名中查看此成绩
First-attempt success rate77.9%原文 77.9% · 单位 %
公布 未确认

结果冲突待核对,精确排名不采用。

发布表报告值
设置
System Card §8.1 standard configuration: adaptive thinking at max effort; default temperature/top_p; averaged over 5 trials. Context sizes are evaluation-dependent and do not exceed 1M tokens; retain all section-specific exceptions on their results.
未知项
Per-benchmark tools, context/token cap, resolution, trial count, harness and other exceptions are recorded on each result when stated.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
OSWorld-Verified; first-attempt task success; updated agent scaffolding.
条件
Figure 8.9.4.A label. Table 8.1.A and §8.9.4 prose report 78.0%; this candidate records the printed chart value and must remain conflict-marked. 1080p; 100-step cap; five runs.
在排名中查看此成绩

出处与披露

测试版本与指标

别名 OSWorld Verified

  • First-attempt success rate · % · 越高越好