ProgramBench · 166 个保留的 golden tasks;架构与时限按协议区分 · 测试定义与成绩

ProgramBench · 166 个保留的 golden tasks;架构与时限按协议区分 收录 7 次模型发布的评测披露或成绩。

测试版本与指标

别名 ProgramBench、Multi-Agent ProgramBench

  • Hidden test pass rate · % · 越高越好
  • Score · 单位未标注 · 越高越好

各系列最新模型 · 公布成绩

常规展示范围。排名按指标与评测协议分组,已记录的工具、预算及框架分别展示。条件未说明的组保留公布值供查证。

Hidden test pass rate %

工具条件未记录 / max / mini-swe-agent · ProgramBench; hidden-test pass rate on 166 retained tasks using mini-swe-agent harness.

ProgramBench · 166 个保留的 golden tasks;架构与时限按协议区分 · Hidden test pass rate · 工具条件未记录 / max / mini-swe-agent · ProgramBench; hidden-test pass rate on 166 retained tasks using mini-swe-agent harness.
模型与配置成绩(%)记录与证据
Claude Haiku 5.5Max82%

工具条件未记录 / max / 框架未记录 · ProgramBench, 166 tasks after excluding 34 flaky reference binaries; hidden-test pass rate over five episodes.

ProgramBench · 166 个保留的 golden tasks;架构与时限按协议区分 · Hidden test pass rate · 工具条件未记录 / max / 框架未记录 · ProgramBench, 166 tasks after excluding 34 flaky reference binaries; hidden-test pass rate over five episodes.
模型与配置成绩(%)记录与证据
Claude Sonnet 5.5Max79.7%

工具条件未记录 / max / mini-SWE-agent harness · Single-agent ProgramBench; 166 retained golden tasks; mini-swe-agent harness; no six-hour time limit; no internet or decompilation.

ProgramBench · 166 个保留的 golden tasks;架构与时限按协议区分 · Hidden test pass rate · 工具条件未记录 / max / mini-SWE-agent harness · Single-agent ProgramBench; 166 retained golden tasks; mini-swe-agent harness; no six-hour time limit; no internet or decompilation.
模型与配置成绩(%)记录与证据
Claude Opus 5.5Max91.2%

历史记录 · 7 次发布

  • Claude Fable 5.2本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • Claude Haiku 5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Sonnet 5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Fable 5.1本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 5本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • Claude Sonnet 5本次发布有 1 条成绩记录,暂无精确值