Claude Haiku 4.5 · SWE-bench Verified · Verified subset (500 problems) · 成绩与配置

Claude Haiku 4.5 的 SWE-bench Verified · Verified subset (500 problems) 记录。本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录),附 1 条来源定位。

成绩与评测条件

Claude Haiku 4.5 · SWE-bench Verified 成绩与配置
指标与成绩配置与评测条件出处
Pass rate73.3%原文 73.3% · 单位 %
公布 未确认
发布表报告值
设置
SWE-bench: full 500 problems, 50 trials, no test-time compute, 128K thinking budget, default sampling; Terminal-Bench: Terminus 2, 11 runs split between no thinking and 32K thinking; OSWorld: OSWorld-Verified, 100 steps, 4 runs; GPQA/MMMLU/MMMU follow source table.
未知项
AIME 的 Python 工具使用情况按两个分列配置保存;其余各项的逐行配置以主文脚注为准。
工具
允许工具
推理预算
思考预算 128K
框架
未记录
协议
SWE-bench Verified full 500-problem set; 50 trials; no test-time compute。
条件
128K thinking budget; default sampling。
在排名中查看此成绩

出处与披露

测试版本与指标

别名 SWE-bench Verified

  • Pass rate · % · 越高越好