Claude Opus 4.8 · 官方评测披露

Claude Opus 4.8 当前收录 35 项测试的官方记录。已完成列明材料的核查。

模型发布 · Claude Opus

官方材料与核查范围

当前保存版 Opus 4.8 System Card 已逐页核读 PDF pp.1–246;页段齐全,全部页面实际查看,关键图表另做高分辨率视觉核看。首发日字节未建立,launch review 保持未完成。 核对时间 。

当前资料不足以还原首发。 没有发布当日历史快照。

  • Introducing Claude Opus 4.8 · 主文 · 官方发布页;本地保存 HTML/TXT 与主表 PNG:本地留存副本、本地留存副本、本地留存副本;原文发布日期 2026-05-28,当前修订时间未知
    公布 未确认 · 采集 · 已核查 已补完当前发布主文全文、全部引言与脚注,实际查看全部3个figure及正文/品牌图像。核读与图片清单见本地留存副本。未估读无数值曲线,客户私有评测或缺方法的引述不自动作为普通能力成绩。
  • Claude Opus 4.8 System Card · 附件 · 当前保存副本:本地留存副本 与 current-opus-4-8-system-card.txt;PDF 246 页,封面日期 2026-05-28,修订记录最后明确日期 2026-06-17;当前 PDF 修订日期未知。此前来源记录 collectedAt 为 2026-11-11;当前副本于 2026-11-16 复核。
    公布 未确认 · 采集 · 已核查 当前保存 PDF 共 246 页,逐页文本核读无缺页;全部页面均实际查看 contact sheet,密集图表另高分辨率实际查看。局部公布日期未知,当前修订日及首发日字节未建立。

配置

  • 发布表报告值 · Opus 4.8 defaults to high effort; table values follow the model's reported score. OSWorld-Verified uses an updated evaluation described in the release footnote. high
    未知项 Per-row sampling and trial counts are not stated in the main table.
  • HLE 无工具 · Humanity’s Last Exam; reasoning only, no tools; auto thinking and max effort; 1M total-token cap; no context compaction. Some items exceed the Public API one-hour sampling limit. max
    未知项 具体题集与试验数未列于主表。
  • HLE 有工具 · Humanity’s Last Exam; web search, web fetch, programmatic tool calling and code execution; auto thinking and max effort; 1M total-token cap; no context compaction; Opus 4.6 transcript review/regrade for confirmed answer retrieval. max
    未知项 具体题集与试验数未列于主表。
  • System Card 默认配置 · 除章节另有说明外,adaptive thinking at max effort,默认 temperature/top_p,平均 5 trials;评测上下文依任务而定且不超过 1M tokens。 max
  • Terminal-Bench 2.1 high effort · High effort;Harbor 框架、Daytona cloud、官方集成与 Terminus-2 harness;89 个任务各 5 次,共 445 trials。 high
  • BrowseComp 10M · Web search、web fetch、programmatic tool calling、code execution;adaptive thinking max effort;10M token 总预算,200K 触发 context compaction;使用更新的污染规避 blocklist。 max
  • USAMO 2026 high effort · Batch API、high effort、300K token limit;每题 10 次尝试;中立模型重写证明,再由 3 位模型裁判评分,取最低分。 high
  • ArXivMath March-April 2026 · Extended thinking;2026 年 3 月和 4 月版本共 71 题;该段未给出 trials 数。
  • GraphWalks 256K · 256K context subset;默认 sampling;平均 5 trials;1M subset 超出公共 API 的 1M token 上限。
  • DeepSearchQA single-agent · Web search、web fetch、programmatic tool calling;adaptive thinking 与 max effort;900 prompts,1M token budget,不使用 context compaction。 max
  • DRACO single-agent · 100 curated tasks;web search、web fetch、programmatic tool calling、code execution;adaptive max effort;1M token limit,200K 触发 context compaction;模型回答单次执行,Opus 4.6 judge 对每个回答评分 5 次取平均。 max
  • 视觉基准无工具 · Adaptive thinking、max effort、无工具;各图表注明时平均 5 runs,95% CI。 max
  • 视觉基准 Python 工具 · Adaptive thinking、max effort、Python tools;各图表注明时平均 5 runs,95% CI。 max
  • OfficeQA 内部 agentic harness · 从文档提取文本并放入 sandbox,提供 code execution;exact-match grading。OfficeQA Pro 为推荐的 133-question subset。与直接解析原始 PDF 的公开 harness 不可混比。
  • Legal Agent Benchmark held-out · Adaptive thinking/max effort;1,235 problems,16/1,251 个问题因数据缺陷在测试前排除;n=5 trials 平均;Sonnet 4.6 judge;内部重实现只提供 bash 与 Python,少于公开 harness 的工具集。 max
  • MCP Atlas Scale AI April 2026 · Scale AI evaluation;100-tool-call budget;April 2026 upgraded config/judge。卡片称 effort settings 之后可能略有变化,生产设置未完全可复现。
  • Vending-Bench 2 Max effort · 模拟一年、$500 起始余额;Max effort;使用 benchmark 自己的 context management,Claude context editing 未启用;trial 数未说明。 max
  • Vending-Bench 2 High effort · 模拟一年、$500 起始余额;High effort;使用 benchmark 自己的 context management,Claude context editing 未启用;trial 数未说明。 high
  • Toolathlon 内部 harness · Adaptive thinking/max effort;108 tasks,依论文协议 3 trials;内部 harness 固定金融 feed 与容器镜像,约四分之一按原样保留不可满足任务,因此不可与上游绝对值混比。 max
  • AutomationBench max effort · Zapier leaderboard private held-out tasks;max effort。 max
  • HealthBench Professional · 525 physician-authored conversations;adaptive thinking/max effort;Sonnet 4.6 grader;平均 5 trials;论文定义的 length adjustment。 max
  • 多语言总体评测 · Structured JSON output;adaptive thinking。GMMLU 覆盖 42 种语言;MILU 覆盖 10 种 Indic languages 与英语;INCLUDE 覆盖 44 种语言。候选只记录总体聚合值。
  • LatchBio Bioinformatics · 除 Protocol Troubleshooting 外,章节通用配置为 bash 与 package manager、未启用 extended thinking;SpatialBench 与 SingleCellBench 的 trials 数未单独说明。
  • OSWorld-Verified revised evaluation · 1080p; up to 100 actions per task; first-attempt success; average over 5 runs; zoom-tool bug fixed for batched actions; per-turn token maximum increased from 16K to 128K. Effort for the 83.4% result is not separately stated.

直接前代与后续发布

直接前代 Claude Opus 4.7。 官方关系依据

We’re upgrading Claude Opus to a new version: Claude Opus 4.8. It builds on Opus 4.7 with improvements across benchmarks, and is a more effective collaborator. […] The table below shows how Opus 4.8 compares to its predecessor and to other models on tests of coding, agentic skills, reasoning, and practical knowledge work tasks.
25 项披露延续 · 10 项新增 · 10 项本次未见 · 0 项待核查
Claude Opus 4.7 与 Claude Opus 4.8 的披露变化
测试已核查状态Claude Opus 4.7Claude Opus 4.8
SWE-bench Pro · Pro延续

已记录的评测条件有变化

前代记录本次记录
Terminal-Bench · 2.1新增—本次记录
Humanity's Last Exam · 2,500-question benchmark延续

已记录的评测条件有变化

前代记录本次记录
OSWorld-Verified · Verified benchmark; evaluation protocol noted per source延续

已记录的评测条件有变化

前代记录本次记录
GDPval-AA · Artificial Analysis leaderboard延续

来源位置 attachment → attachment、main

已记录的评测条件有变化

前代记录本次记录
Finance Agent · v2延续

来源位置 main → attachment、main

已记录的评测条件有变化

前代记录本次记录
SWE-bench Verified · Verified subset (500 problems)延续

来源位置 attachment、main → attachment

已记录的评测条件有变化

前代记录本次记录
SWE-bench Multilingual · 300 problems, 9 programming languages延续

已记录的评测条件有变化

前代记录本次记录
SWE-bench Multimodal · Multimodal延续

已记录的评测条件有变化

前代记录本次记录
BrowseComp · 1,266 题;单代理与多代理按协议区分延续

来源位置 attachment、main → attachment

已记录的评测条件有变化

前代记录本次记录
GPQA Diamond · 198-question Diamond subset延续

来源位置 attachment、main → attachment

已记录的评测条件有变化

前代记录本次记录
USA Mathematical Olympiad · 2026延续

已记录的评测条件有变化

前代记录本次记录
ArXivMath · March-April 2026 releases; 71 problems新增—本次记录
GraphWalks · 256K-context subset of the 256K-1M evaluation; item count unspecified; BFS F1延续

已记录的评测条件有变化

前代记录本次记录
GraphWalks · 256K-context subset of the 256K-1M evaluation; item count unspecified; parents延续

已记录的评测条件有变化

前代记录本次记录
DeepSearchQA · 900 prompts;单代理与多代理按协议区分延续

已记录的评测条件有变化

前代记录本次记录
DRACO · 100-task Perplexity deep-research benchmark延续

已记录的评测条件有变化

前代记录本次记录
ChartQAPro · ChartQAPro; set size and release version not stated in the System Card新增—本次记录
ChartMuseum · 1,162 test-split questions新增—本次记录
LAB-Bench FigQA · FutureHouse FigQA; prompting and tools are recorded per result延续

已记录的评测条件有变化

前代记录本次记录
CharXiv Reasoning · Validation split延续

来源位置 attachment、main → attachment

已记录的评测条件有变化

前代记录本次记录
ScreenSpot-Pro · 1,581 expert-annotated tasks across 23 professional applications and 3 operating systems延续

已记录的评测条件有变化

前代记录本次记录
OfficeQA · Full set延续

已记录的评测条件有变化

前代记录本次记录
OfficeQA · Pro 133-question subset延续

来源位置 attachment、main → attachment

已记录的评测条件有变化

前代记录本次记录
Legal Agent Benchmark · Opus 5 官方发布表所列 held-out set新增—本次记录
MCP-Atlas · Scale AI 公共排行榜;2026-04 刷新 harness延续

已记录的评测条件有变化

前代记录本次记录
Vending-Bench · 2延续

已记录的评测条件有变化

前代记录本次记录
Toolathlon · June 2026 release used in selected source新增—本次记录
AutomationBench · Zapier private set; release/version not stated新增—本次记录
HealthBench Professional · 525 physician-authored conversations新增—本次记录
Global MMLU · 42 languages including English · overall average延续

已记录的评测条件有变化

前代记录本次记录
Multi-task Indic Language Understanding Benchmark · 10 Indic languages plus English · overall average延续

已记录的评测条件有变化

前代记录本次记录
INCLUDE · 44 languages延续

已记录的评测条件有变化

前代记录本次记录
SpatialBench Verified · Verified新增—本次记录
SingleCellBench · LatchBio Bioinformatics single-cell RNA sequencing analysis evaluation新增—本次记录
Terminal-Bench · 2.0;代理框架按协议区分本次未见前代记录—
Finance Agent · Vals AI SEC-filing research benchmark本次未见前代记录—
MMMLU · 57 subjects and 14 non-English languages本次未见前代记录—
GraphWalks · 200 problems, 256k to 1M context, BFS F1本次未见前代记录—
OpenAI MRCR · v2, 256K context, 8 needles本次未见前代记录—
OpenAI MRCR · v2, 1M context, 8 needles本次未见前代记录—
ARC-AGI-1 · ARC Prize Foundation private dataset本次未见前代记录—
ARC-AGI-2 · ARC Prize Foundation private dataset本次未见前代记录—
GraphWalks · parents;256K–1M 上下文;题数未注明本次未见前代记录—
Structural Biology · Opus 4.7 announcement figure; dataset, version and question format unspecified本次未见前代记录—

测试记录 · 35