SWE-bench Verified · Verified subset (500 problems) · 测试定义与成绩

SWE-bench Verified · Verified subset (500 problems) 收录 19 次模型发布的评测披露或成绩。

测试版本与指标

别名 SWE-bench Verified

  • Pass rate · % · 越高越好

各系列最新模型 · 公布成绩

常规展示范围。排名按指标与评测协议分组,已记录的工具、预算及框架分别展示。条件未说明的组保留公布值供查证。

Pass rate %

允许工具 / high / 框架未记录 · Single attempt; average over 10 runs; official provider method. Google adjusted the score by +0.6% after fixing three impossible official harness items.

SWE-bench Verified · Verified subset (500 problems) · Pass rate · 允许工具 / high / 框架未记录 · Single attempt; average over 10 runs; official provider method. Google adjusted the score by +0.6% after fixing three impossible official harness items.
模型与配置成绩(%)记录与证据
Gemini 3.1 ProHigh80.6%

工具条件未记录 / 推理预算未记录 / SWE-Agent · SWE-Agent · 300 turns

SWE-bench Verified · Verified subset (500 problems) · Pass rate · 工具条件未记录 / 推理预算未记录 / SWE-Agent · SWE-Agent · 300 turns
模型与配置成绩(%)记录与证据
Qwen3-Coder-NextNone70.6%

工具条件未记录 / 推理预算未记录 / MiniSWE-Agent · MiniSWE-Agent · 300 turns

SWE-bench Verified · Verified subset (500 problems) · Pass rate · 工具条件未记录 / 推理预算未记录 / MiniSWE-Agent · MiniSWE-Agent · 300 turns
模型与配置成绩(%)记录与证据
Qwen3-Coder-NextNone71.1%

工具条件未记录 / 推理预算未记录 / OpenHands · OpenHands · 300 turns

SWE-bench Verified · Verified subset (500 problems) · Pass rate · 工具条件未记录 / 推理预算未记录 / OpenHands · OpenHands · 300 turns
模型与配置成绩(%)记录与证据
Qwen3-Coder-NextNone71.3%

工具条件未记录 / 推理预算未记录 / OpenHands v0.34.0 · SWE-bench Verified; OpenHands v0.34.0; maximum 100 iterations; history truncation to stay within 128K; temperature=0.6; top_p=1.0.

SWE-bench Verified · Verified subset (500 problems) · Pass rate · 工具条件未记录 / 推理预算未记录 / OpenHands v0.34.0 · SWE-bench Verified; OpenHands v0.34.0; maximum 100 iterations; history truncation to stay within 128K; temperature=0.6; top_p=1.0.
模型与配置成绩(%)记录与证据
GLM-4.5-Air未注明57.6%

历史记录 · 19 次发布

  • Claude Opus 5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Sonnet 5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 4.8本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 4.7本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Gemini 3.1 Pro本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Sonnet 4.6本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • Claude Opus 4.6本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • Qwen3-Coder-Next本次发布有 3 条成绩记录,含 3 条精确值(可含历史记录)
  • GPT-5.2本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 4.5本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • GPT-5.1 Codex-Max本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Gemini 3 Pro本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.1 Codex本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GPT-5.1本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Haiku 4.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GLM-4.5本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • GLM-4.5-Air本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Qwen3-Coder-480B-A35B-Instruct本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • Gemini 2.5 Pro (GA)本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)