DeepSWE · v1.1 · 测试定义与成绩

DeepSWE · v1.1 收录 16 次模型发布的评测披露或成绩。

测试版本与指标

别名 DeepSWE v1.1

  • Score · % · 越高越好

各系列最新模型 · 公布成绩

常规展示范围。排名按指标与评测协议分组,已记录的工具、预算及框架分别展示。条件未说明的组保留公布值供查证。

Score %

工具条件未记录 / max / 框架未记录 · DeepSWE v1.1; 113 long-horizon software engineering tasks; average of five trials.

DeepSWE · v1.1 · Score · 工具条件未记录 / max / 框架未记录 · DeepSWE v1.1; 113 long-horizon software engineering tasks; average of five trials.
模型与配置成绩(%)记录与证据
Claude Fable 5.2Max74.3%

工具条件未记录 / high / mini-swe-agent · Self-computed with mini-swe-agent harness; uses highest scoring Gemini thinking level reported on the main leaderboard.

DeepSWE · v1.1 · Score · 工具条件未记录 / high / mini-swe-agent · Self-computed with mini-swe-agent harness; uses highest scoring Gemini thinking level reported on the main leaderboard.
模型与配置成绩(%)记录与证据
Gemini 4 Argon未注明77.9%

工具条件未记录 / max / 框架未记录 · DeepSWE v1.1, 113 long-horizon software-engineering tasks; five-trial average.

DeepSWE · v1.1 · Score · 工具条件未记录 / max / 框架未记录 · DeepSWE v1.1, 113 long-horizon software-engineering tasks; five-trial average.
模型与配置成绩(%)记录与证据
Claude Sonnet 5.5Max71%

工具条件未记录 / max / 框架未记录 · DeepSWE v1.1; average over five trials; 113 long-horizon tasks.

DeepSWE · v1.1 · Score · 工具条件未记录 / max / 框架未记录 · DeepSWE v1.1; average over five trials; 113 long-horizon tasks.
模型与配置成绩(%)记录与证据
Claude Opus 5.5Max74.2%

工具条件未记录 / max / 框架未记录 · 条件未说明

DeepSWE · v1.1 · Score · 工具条件未记录 / max / 框架未记录 · 条件未说明
模型与配置成绩(%)记录与证据
GPT-6 LunaMax66.6%

工具条件未记录 / high / mini-swe-agent · Self-computed with mini-swe-agent; highest reported thinking level, high; pass@1.

DeepSWE · v1.1 · Score · 工具条件未记录 / high / mini-swe-agent · Self-computed with mini-swe-agent; highest reported thinking level, high; pass@1.
模型与配置成绩(%)记录与证据
Gemini 3.8 FlashHigh73.7%

历史记录 · 16 次发布

  • Claude Fable 5.2本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Gemini 4 Argon本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-6.1 Sol本次发布有 5 条成绩记录,含 5 条精确值(可含历史记录)
  • Claude Sonnet 5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 5.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-6 Luna本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-6 Sol本次发布有 5 条成绩记录,含 5 条精确值(可含历史记录)
  • Claude Fable 5.1本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-6 Astra本次发布有 6 条成绩记录,含 6 条精确值(可含历史记录)
  • Gemini 3.8 Flash本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Gemini 3.7 Flash本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 5本次发布有 5 条成绩记录,含 5 条精确值(可含历史记录)
  • Gemini 3.6 Flash本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.6 Sol本次发布有 7 条成绩记录,含 7 条精确值(可含历史记录)
  • GPT-5.6 Luna本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.6 Terra本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)