Claude Opus 4.8 · Humanity's Last Exam · 2,500-question benchmark · 成绩与配置

Claude Opus 4.8 的 Humanity's Last Exam · 2,500-question benchmark 记录。本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录),附 3 条来源定位。

成绩与评测条件

Claude Opus 4.8 · Humanity's Last Exam 成绩与配置
指标与成绩配置与评测条件出处
Accuracy49.8%原文 49.8% · 单位 %
公布 未确认
HLE 无工具
设置
Humanity’s Last Exam; reasoning only, no tools; auto thinking and max effort; 1M total-token cap; no context compaction. Some items exceed the Public API one-hour sampling limit.
未知项
具体题集与试验数未列于主表。
工具
禁止工具
推理预算
max
框架
未记录
协议
Humanity’s Last Exam; reasoning only, no tools; auto thinking, max effort; 1M total-token cap; no context compaction.
条件
The System Card says some no-tools problems exceed the Public API one-hour sampling limit; retain the reported 49.8% and source evidence with this reproducibility limitation.
Accuracy57.9%原文 57.9% · 单位 %
公布 未确认
HLE 有工具
设置
Humanity’s Last Exam; web search, web fetch, programmatic tool calling and code execution; auto thinking and max effort; 1M total-token cap; no context compaction; Opus 4.6 transcript review/regrade for confirmed answer retrieval.
未知项
具体题集与试验数未列于主表。
工具
允许工具
推理预算
max
框架
未记录
协议
Humanity’s Last Exam with web search, web fetch, programmatic tool calling and code execution; auto thinking, max effort; 1M total-token cap; no context compaction.
条件
Opus 4.6 transcript review and regrade were used to confirm HLE answer retrieval.
在排名中查看此成绩

出处与披露

测试版本与指标

别名 HLE、Humanity’s Last Exam、Humanity's Last Exam

  • Accuracy · % · 越高越好