OSWorld · 2.1, 82-task offline no-internet subset, partial score · 测试定义与成绩

OSWorld · 2.1, 82-task offline no-internet subset, partial score 收录 6 次模型发布的评测披露或成绩。

测试版本与指标

别名 OSWorld-2.1 offline subset

  • Partial score · % · 越高越好
  • Strict pass rate · % · 越高越好

各系列最新模型 · 公布成绩

常规展示范围。排名按指标与评测协议分组,已记录的工具、预算及框架分别展示。条件未说明的组保留公布值供查证。

Partial score %

工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official 82-task offline set;partial score;Pass@1,五次尝试平均。

OSWorld · 2.1, 82-task offline no-internet subset, partial score · Partial score · 工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official 82-task offline set;partial score;Pass@1,五次尝试平均。
模型与配置成绩(%)记录与证据
Claude Fable 5.2Max89.3%

允许工具 / 推理预算未记录 / 框架未记录 · 82-task offline no-internet subset; max over 3 runs, one attempt each; official Docker/evaluator; 1080p, max 500 steps; Gemini CUA with batched calls.

OSWorld · 2.1, 82-task offline no-internet subset, partial score · Partial score · 允许工具 / 推理预算未记录 / 框架未记录 · 82-task offline no-internet subset; max over 3 runs, one attempt each; official Docker/evaluator; 1080p, max 500 steps; Gemini CUA with batched calls.
名次模型与配置成绩(%)记录与证据
1Gemini 4 Carbon未注明81.5%
2Gemini 4 Argon未注明74.7%

工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official offline subset: 82/108 tasks; no internet; 1080p; maximum 500 action steps; pass@1 average across five attempts per task, max effort.

OSWorld · 2.1, 82-task offline no-internet subset, partial score · Partial score · 工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official offline subset: 82/108 tasks; no internet; 1080p; maximum 500 action steps; pass@1 average across five attempts per task, max effort.
模型与配置成绩(%)记录与证据
Claude Haiku 5.5Max72.4%

工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official offline subset; 82/108 tasks, no internet, max effort, five attempts per task。

OSWorld · 2.1, 82-task offline no-internet subset, partial score · Partial score · 工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official offline subset; 82/108 tasks, no internet, max effort, five attempts per task。
模型与配置成绩(%)记录与证据
Claude Opus 5.5Max87.2%

Strict pass rate %

工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official 82-task offline set;strict pass rate;Pass@1,五次尝试平均。

OSWorld · 2.1, 82-task offline no-internet subset, partial score · Strict pass rate · 工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official 82-task offline set;strict pass rate;Pass@1,五次尝试平均。
模型与配置成绩(%)记录与证据
Claude Fable 5.2Max54.6%

工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official offline subset: 82/108 tasks; no internet; 1080p; maximum 500 action steps; pass@1 average across five attempts per task, max effort.

OSWorld · 2.1, 82-task offline no-internet subset, partial score · Strict pass rate · 工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official offline subset: 82/108 tasks; no internet; 1080p; maximum 500 action steps; pass@1 average across five attempts per task, max effort.
模型与配置成绩(%)记录与证据
Claude Haiku 5.5Max37.1%

工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official offline subset; 82/108 tasks, no internet, max effort, five attempts per task。

OSWorld · 2.1, 82-task offline no-internet subset, partial score · Strict pass rate · 工具条件未记录 / max / 框架未记录 · OSWorld 2.1 official offline subset; 82/108 tasks, no internet, max effort, five attempts per task。
模型与配置成绩(%)记录与证据
Claude Opus 5.5Max53.2%

历史记录 · 6 次发布

  • Claude Fable 5.2本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • Gemini 4 Carbon本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Haiku 5.5本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • Gemini 4 Argon本次发布有 1 条成绩记录,含 1 条精确值(可含历史记录)
  • Claude Opus 5.5本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)
  • Claude Fable 5.1本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)