Claude Opus 4.6 · Humanity's Last Exam(2,500-question benchmark) · 附件证据(ev-op46-card-hle)

Claude Opus 4.6 的 Humanity's Last Exam · 2,500-question benchmark 官方出处。见《Claude Opus 4.6 System Card》PDF pp.41–42, §2.21.2 and Figure 2.21.2.A。证据 ev-op46-card-hle。

原文与定位

Claude Opus 4.6 · Humanity's Last Exam(2,500-question benchmark),HLE 无工具配置,Accuracy 40%(具体成绩公布时间未确认)。见《Claude Opus 4.6 System Card》PDF pp.41–42, §2.21.2 and Figure 2.21.2.A。 查看成绩条件

Claude Opus 4.6 · Humanity's Last Exam(2,500-question benchmark),HLE 有工具配置,Accuracy 53%(成绩公布 2026-02-23)。见《Claude Opus 4.6 System Card》PDF pp.41–42, §2.21.2 and Figure 2.21.2.A。 查看成绩条件

Humanity’s Last Exam has 2,500 questions. Figure reports Opus 4.6 40.0% without tools and 53.0% with tools. No-tool run has adaptive thinking; tool run uses web search/fetch, PTC, code execution, context compaction at 50K up to 3M tokens, max effort and adaptive thinking; Sonnet 4.5 is grader and contamination cases are reviewed.
官方材料
Claude Opus 4.6 System Card · PDF 第 42 页
定位
附件 · PDF pp.41–42, §2.21.2 and Figure 2.21.2.A
材料版本
Current PDF/TXT; local source 本地留存副本 and 本地留存副本; 213 pages; changelog through 2026-03-06; full text and visuals reviewed.
版本公布
未确认
披露时间
未确认 · 首发/后补未确认
采集时间
历史依据
暂无可靠历史版本依据
引用文本

Claude Opus 4.6 · Humanity's Last Exam(2,500-question benchmark),HLE 无工具配置,Accuracy 40%(具体成绩公布时间未确认);Claude Opus 4.6 · Humanity's Last Exam(2,500-question benchmark),HLE 有工具配置,Accuracy 53%(成绩公布 2026-02-23)。官方出处 Claude Opus 4.6 System Card(附件,Current PDF/TXT; local source 本地留存副本 and 本地留存副本; 213 pages; changelog through 2026-03-06; full text and visuals reviewed.)PDF pp.41–42, §2.21.2 and Figure 2.21.2.A,https://www.anthropic.com/claude-opus-4-6-system-card#page=42。Benchlog https://benchlog.lekshome.cc/evidence/claude-opus-4-6/ev-op46-card-hle/

关联成绩与条件

Claude Opus 4.6 · Humanity's Last Exam 成绩与配置
指标与成绩配置与评测条件证据关系
Accuracy40%原文 40.0% · 单位 %
公布 未确认
HLE 无工具
设置
Humanity’s Last Exam;无工具;卡片图注明确 adaptive thinking,但未明确 effort。
未知项
effort 未说明。
工具
禁止工具
推理预算
未记录
框架
未记录
协议
Humanity's Last Exam;without tools。
条件
2,500-question Humanity’s Last Exam;reasoning only, no tools;adaptive thinking enabled;图注未明确 effort,保持 reported。

直接支持该成绩

在排名中查看此成绩
Accuracy53%原文 53.0% · 单位 %
公布

raw/opus-4-6-announcement.txt line 138;官方修订说明。

HLE 有工具
设置
Max effort、adaptive thinking;web search/fetch、programmatic tool calling、code execution;50K context compaction,最多 3M total tokens。
未知项
每个配置的试验数未在系统卡段落中给出。
工具
允许工具
推理预算
max
框架
未记录
协议
Humanity's Last Exam;with tools。
条件
2,500-question HLE;web search/fetch、PTC、code execution、50K context compaction up to 3M tokens;adaptive thinking、max effort;Sonnet 4.5 grader;污染候选经 transcript review 与人工复核。System card changelog dates the score correction Feb. 17; announcement correction evidence dates it Feb. 23.

直接支持该成绩

在排名中查看此成绩