Claude Opus 5 · AutomationBench(Zapier 私有 early-access set;版本未注明) · 附件证据(ev-op5-card-automationbench)

Claude Opus 5 的 AutomationBench · Zapier 私有 early-access set;版本未注明 官方出处。见《Claude Opus 5 System Card》System Card PDF pp.183-184, §8.13.7 and Figure 8.13.7.A。证据 ev-op5-card-automationbench。

原文与定位

Claude Opus 5 · AutomationBench(Zapier 私有 early-access set;版本未注明),AutomationBench · max配置,Pass rate 26%(具体成绩公布时间未确认)。见《Claude Opus 5 System Card》System Card PDF pp.183-184, §8.13.7 and Figure 8.13.7.A。 查看成绩条件

Claude Opus 5 · AutomationBench(Zapier 私有 early-access set;版本未注明),AutomationBench · medium配置,Pass rate 24%(具体成绩公布时间未确认)。见《Claude Opus 5 System Card》System Card PDF pp.183-184, §8.13.7 and Figure 8.13.7.A。 查看成绩条件

On AutomationBench’s private held-out leaderboard, Opus 5 scored 26.0% at max effort. At medium effort it scored 24% at $0.89 per task.
官方材料
Claude Opus 5 System Card · PDF 第 184 页
定位
附件 · System Card PDF pp.183-184, §8.13.7 and Figure 8.13.7.A
材料版本
Current saved PDF/TXT: 本地留存副本 and current-opus-5-system-card.txt; cover dated 2026-07-24; p.2 changelog records an update on 2026-08-19; later revision date, if any, unknown.
版本公布
未确认
披露时间
未确认 · 首发/后补未确认
采集时间
历史依据
暂无可靠历史版本依据
引用文本

Claude Opus 5 · AutomationBench(Zapier 私有 early-access set;版本未注明),AutomationBench · max配置,Pass rate 26%(具体成绩公布时间未确认);Claude Opus 5 · AutomationBench(Zapier 私有 early-access set;版本未注明),AutomationBench · medium配置,Pass rate 24%(具体成绩公布时间未确认)。官方出处 Claude Opus 5 System Card(附件,Current saved PDF/TXT: 本地留存副本 and current-opus-5-system-card.txt; cover dated 2026-07-24; p.2 changelog records an update on 2026-08-19; later revision date, if any, unknown.)System Card PDF pp.183-184, §8.13.7 and Figure 8.13.7.A,https://www.anthropic.com/claude-opus-5-system-card#page=184。Benchlog https://benchlog.lekshome.cc/evidence/claude-opus-5/ev-op5-card-automationbench/

关联成绩与条件

Claude Opus 5 · AutomationBench 成绩与配置
指标与成绩配置与评测条件证据关系
Pass rate26%原文 26.0% · 单位 %
公布 未确认
AutomationBench · max
设置
Zapier private held-out evaluation set; max effort; benchmark version and task count not stated.
未知项
未另记
工具
工具条件未记录
推理预算
max
框架
未记录
协议
Zapier AutomationBench private held-out leaderboard; pass rate.
条件
26.0% at max effort; version/task release not stated; separate from the medium-effort 24% run.

直接支持该成绩

在排名中查看此成绩
Pass rate24%原文 24% · 单位 %
公布 未确认
AutomationBench · medium
设置
Zapier private held-out evaluation set; medium effort; result reports $0.89 per task.
未知项
未另记
工具
工具条件未记录
推理预算
medium
框架
未记录
协议
Zapier AutomationBench private held-out leaderboard; pass rate.
条件
Medium effort; reported cost $0.89/task; do not merge with max-effort 26.0%.

直接支持该成绩

在排名中查看此成绩