Claude Sonnet 4.6 · Humanity's Last Exam · 2,500-question benchmark · 成绩与配置

Claude Sonnet 4.6 的 Humanity's Last Exam · 2,500-question benchmark 记录。本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录),附 3 条来源定位。

成绩与评测条件

Claude Sonnet 4.6 · Humanity's Last Exam 成绩与配置
指标与成绩配置与评测条件出处
Accuracy33.2%原文 33.2% · 单位 %
公布 未确认
Adaptive max, without tools
设置
Adaptive thinking enabled; max effort; no tools.
未知项
Default sampling settings apply unless otherwise stated.
工具
禁止工具
推理预算
max
框架
未记录
协议
Humanity's Last Exam, 2,500 questions; reasoning-only configuration.
条件
No tools; adaptive thinking and max effort per Table 2.1.A. Contamination handling and the tool-assisted configuration are described in §2.20.2.
在排名中查看此成绩
Accuracy49%原文 49.0% · 单位 %
公布 未确认
Adaptive thinking, max effort
设置
Adaptive thinking enabled; max effort; default temperature and top_p unless an evaluation specifies otherwise.
未知项
Context window is evaluation-dependent; Table 2.1.A states it does not exceed 1M tokens.
工具
允许工具
推理预算
max
框架
未记录
协议
Humanity's Last Exam, 2,500 questions; web search, web fetch, code execution and programmatic tool calling.
条件
Context compaction at 50K tokens up to 3M total tokens, adaptive thinking, max effort; domain blocklist and transcript review used for contamination checks.
在排名中查看此成绩

出处与披露

测试版本与指标

别名 HLE、Humanity’s Last Exam、Humanity's Last Exam

  • Accuracy · % · 越高越好