Claude Opus · OSWorld-Verified · Verified benchmark; evaluation protocol noted per source · 历代记录

按发布时间查看 Claude Opus 的 3 次发布在 OSWorld-Verified · Verified benchmark; evaluation protocol noted per source 的成绩、配置与披露。

仅为直接前代间的唯一、有效精确值计算差值,要求单位、指标与明确记录的配置和条件一致。

Claude Opus 4.6

· 本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)

Claude Opus 4.6 · OSWorld-Verified 成绩与配置
指标与成绩配置与评测条件出处
First-attempt success rate72.7%原文 72.7% · 单位 %
公布 未确认
OSWorld-Verified · Max
设置
默认 OSWorld-Verified 设置;1080p;每题最多 100 个 action steps;Max effort。
未知项
未另记
工具
工具条件未记录
推理预算
max
框架
未记录
协议
OSWorld-Verified;默认设置;1080p;每题最多 100 步;first-attempt success rate;5-run average。
条件
OSWorld 默认设置;1080p;每题最多100步;first-attempt success rate;5-run average;Table 2.3.A 的通用 Opus 4.6 effort 为 max。
在排名中查看此成绩

Claude Opus 4.7

· 本次发布有 4 条成绩记录,含 4 条精确值(可含历史记录)

与直接前代的记录缺少满足差值计算的同条件依据。

Claude Opus 4.7 · OSWorld-Verified 成绩与配置
指标与成绩配置与评测条件出处
First-attempt success rate78%原文 78.0% · 单位 %
公布 未确认

已更正 · 82.3%。官方后续脚注说明评测方式有变并更新旧值;同文图表另列 82.8%,故保留冲突。

结果冲突待核对,精确排名不采用。

发布表报告值
设置
System Card §8.1 standard configuration: adaptive thinking at max effort; default temperature/top_p; averaged over 5 trials. Context sizes are evaluation-dependent and do not exceed 1M tokens; retain all section-specific exceptions on their results.
未知项
Per-benchmark tools, context/token cap, resolution, trial count, harness and other exceptions are recorded on each result when stated.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
OSWorld-Verified;发布首表报告值。
条件
First-attempt success rate at 1080p, maximum 100 action steps, average over five runs. System Card table/prose says 78.0%; Figure 8.9.4.A labels 77.9%.
First-attempt success rate82.8%原文 82.8% · 单位 %
公布

结果冲突待核对,精确排名不采用。

OSWorld-Verified 更新评测
设置
Opus 4.8 发布说明称修改评测方式以更贴近真实使用;Opus 4.7 更新值在同文图表与脚注不一致。
未知项
更新后的完整 harness 与测试集配置未从系统卡全文核读。
工具
工具条件未记录
推理预算
未记录
框架
未记录
协议
OSWorld-Verified;后续更新评测。
条件
Opus 4.8 图表列 82.8%,但同文脚注声明更新为 82.3%;与脚注值冲突,权威数值待核。
在排名中查看此成绩
First-attempt success rate82.3%原文 82.3% · 单位 %
公布

更正记录 · 替代 78%。官方后续脚注说明评测方式有变并更新旧值;同文图表另列 82.8%,故保留冲突。

结果冲突待核对,精确排名不采用。

OSWorld-Verified 更新评测
设置
Opus 4.8 发布说明称修改评测方式以更贴近真实使用;Opus 4.7 更新值在同文图表与脚注不一致。
未知项
更新后的完整 harness 与测试集配置未从系统卡全文核读。
工具
工具条件未记录
推理预算
未记录
框架
未记录
协议
OSWorld-Verified;后续更新评测。
条件
同一 Opus 4.8 发布页的解释脚注明确称新值为 82.3%,但主图表列 82.8%。此记录不能据现有材料判断哪一数值应优先。
在排名中查看此成绩
First-attempt success rate77.9%原文 77.9% · 单位 %
公布 未确认

结果冲突待核对,精确排名不采用。

发布表报告值
设置
System Card §8.1 standard configuration: adaptive thinking at max effort; default temperature/top_p; averaged over 5 trials. Context sizes are evaluation-dependent and do not exceed 1M tokens; retain all section-specific exceptions on their results.
未知项
Per-benchmark tools, context/token cap, resolution, trial count, harness and other exceptions are recorded on each result when stated.
工具
工具条件未记录
推理预算
max
框架
未记录
协议
OSWorld-Verified; first-attempt task success; updated agent scaffolding.
条件
Figure 8.9.4.A label. Table 8.1.A and §8.9.4 prose report 78.0%; this candidate records the printed chart value and must remain conflict-marked. 1080p; 100-step cap; five runs.
在排名中查看此成绩

Claude Opus 4.8

· 本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)

与直接前代的记录缺少满足差值计算的同条件依据。

Claude Opus 4.8 · OSWorld-Verified 成绩与配置
指标与成绩配置与评测条件出处
First-attempt success rate83.4%原文 83.4% · 单位 %
公布 未确认
OSWorld-Verified revised evaluation
设置
1080p; up to 100 actions per task; first-attempt success; average over 5 runs; zoom-tool bug fixed for batched actions; per-turn token maximum increased from 16K to 128K. Effort for the 83.4% result is not separately stated.
未知项
未另记
工具
工具条件未记录
推理预算
max
框架
未记录
协议
OSWorld-Verified revised evaluation; first-attempt success rate averaged over 5 runs.
条件
1080p; up to 100 actions per task; zoom-tool bug fixed for batched actions; per-turn token maximum increased from 16K to 128K. The external 361-task/100-step max-effort figures are separate conditions, not the 83.4% result.
在排名中查看此成绩