Claude Opus 4.6 · WebArena · Official WebArena grader, modified fuzzy_match subgrader · 成绩与配置

Claude Opus 4.6 的 WebArena · Official WebArena grader, modified fuzzy_match subgrader 记录。本次发布有 6 条成绩记录,含 6 条精确值(可含历史记录),附 1 条来源定位。

成绩与评测条件

Claude Opus 4.6 · WebArena 成绩与配置
指标与成绩配置与评测条件出处
Average@5 score68%原文 68.0% · 单位 %
公布 未确认
WebArena · 单策略模型
设置
Computer Use API;截图与 DOM 浏览器工具;通用提示;单策略模型;effort 未说明。
未知项
PDF 未报告 reasoning effort。
工具
允许工具
推理预算
未记录
框架
未记录
协议
WebArena;single policy model;Computer Use API;official grader with fuzzy_match subgrader changed to Claude Sonnet 4.5 and rewritten judge prompt。
条件
Average@5, five independent runs; effort not reported. Multi-agent reference systems are not directly comparable and are not included as Opus 4.6 results.。
在排名中查看此成绩
Pass@168%原文 68.0% · 单位 %
公布 未确认
WebArena · 单策略模型
设置
Computer Use API;截图与 DOM 浏览器工具;通用提示;单策略模型;effort 未说明。
未知项
PDF 未报告 reasoning effort。
工具
允许工具
推理预算
未记录
框架
未记录
协议
WebArena;Pass@1;official grader。
条件
Table 2.20.B;sampling count and effort are not specified in the card. Pass@k is kept separate from Average@5.。
在排名中查看此成绩
Pass@271.7%原文 71.7% · 单位 %
公布 未确认
WebArena · 单策略模型
设置
Computer Use API;截图与 DOM 浏览器工具;通用提示;单策略模型;effort 未说明。
未知项
PDF 未报告 reasoning effort。
工具
允许工具
推理预算
未记录
框架
未记录
协议
WebArena;Pass@2;official grader。
条件
Table 2.20.B;sampling count and effort are not specified in the card. Pass@k is kept separate from Average@5.。
在排名中查看此成绩
Pass@372.5%原文 72.5% · 单位 %
公布 未确认
WebArena · 单策略模型
设置
Computer Use API;截图与 DOM 浏览器工具;通用提示;单策略模型;effort 未说明。
未知项
PDF 未报告 reasoning effort。
工具
允许工具
推理预算
未记录
框架
未记录
协议
WebArena;Pass@3;official grader。
条件
Table 2.20.B;sampling count and effort are not specified in the card. Pass@k is kept separate from Average@5.。
在排名中查看此成绩
Pass@473.4%原文 73.4% · 单位 %
公布 未确认
WebArena · 单策略模型
设置
Computer Use API;截图与 DOM 浏览器工具;通用提示;单策略模型;effort 未说明。
未知项
PDF 未报告 reasoning effort。
工具
允许工具
推理预算
未记录
框架
未记录
协议
WebArena;Pass@4;official grader。
条件
Table 2.20.B;sampling count and effort are not specified in the card. Pass@k is kept separate from Average@5.。
在排名中查看此成绩
Pass@574%原文 74.0% · 单位 %
公布 未确认
WebArena · 单策略模型
设置
Computer Use API;截图与 DOM 浏览器工具;通用提示;单策略模型;effort 未说明。
未知项
PDF 未报告 reasoning effort。
工具
允许工具
推理预算
未记录
框架
未记录
协议
WebArena;Pass@5;official grader。
条件
Table 2.20.B;sampling count and effort are not specified in the card. Pass@k is kept separate from Average@5.。
在排名中查看此成绩

出处与披露

测试版本与指标

别名 WebArena

  • Average@5 score · % · 越高越好
  • Pass@1 · % · 越高越好
  • Pass@2 · % · 越高越好
  • Pass@3 · % · 越高越好
  • Pass@4 · % · 越高越好
  • Pass@5 · % · 越高越好