Claude Opus · CharXiv Reasoning · Validation split · 历代记录

按发布时间查看 Claude Opus 的 3 次发布在 CharXiv Reasoning · Validation split 的成绩、配置与披露。

仅为直接前代间的唯一、有效精确值计算差值,要求单位、指标与明确记录的配置和条件一致。

Claude Opus 4.6

· 本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)

Claude Opus 4.6 · CharXiv Reasoning 成绩与配置
指标与成绩配置与评测条件出处
Accuracy68.5%原文 68.5% · 单位 %
公布 未确认
Max · 无工具
设置
Adaptive thinking、Max effort、无工具;sampling 使用默认 temperature 与 top_p。
未知项
未另记
工具
禁止工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning;1,000 validation questions;without tools。
条件
Adaptive thinking、max effort、5-run average。
在排名中查看此成绩
Accuracy77.4%原文 77.4% · 单位 %
公布 未确认
Max · 图像裁切工具
设置
Adaptive thinking、Max effort;允许简单 image-cropping tool;每项评测条件见成绩记录。
未知项
未另记
工具
允许工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning;1,000 validation questions;simple image-cropping tool。
条件
Adaptive thinking、max effort、5-run average。
在排名中查看此成绩

Claude Opus 4.7

· 本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)

与直接前代的记录缺少满足差值计算的同条件依据。

Claude Opus 4.7 · CharXiv Reasoning 成绩与配置
指标与成绩配置与评测条件出处
Accuracy82.1%原文 82.1% · 单位 %
公布 未确认
CharXiv Reasoning,无工具
设置
Adaptive thinking, max effort, default sampling; 1,000 validation questions; 5-run average; current maximum image resolution (2576px single dimension, 3.75MP total).
未知项
未另记
工具
禁止工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning; validation split; no tools; adaptive thinking; max effort.
条件
1,000 questions; average over five runs; current image limit up to 2576px on one dimension and 3.75MP total.
在排名中查看此成绩
Accuracy91%原文 91.0% · 单位 %
公布 未确认
CharXiv Reasoning,Python工具
设置
Adaptive thinking, max effort, default sampling; Python tools; 1,000 validation questions; 5-run average; current maximum image resolution (2576px single dimension, 3.75MP total).
未知项
未另记
工具
允许工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning; validation split; Python tools; adaptive thinking; max effort.
条件
1,000 questions; average over five runs; current image limit up to 2576px on one dimension and 3.75MP total.
在排名中查看此成绩

Claude Opus 4.8

· 本次发布有 2 条成绩记录,含 2 条精确值(可含历史记录)

与直接前代的记录缺少满足差值计算的同条件依据。

Claude Opus 4.8 · CharXiv Reasoning 成绩与配置
指标与成绩配置与评测条件出处
Accuracy80.5%原文 80.5% · 单位 %
公布 未确认
视觉基准无工具
设置
Adaptive thinking、max effort、无工具;各图表注明时平均 5 runs,95% CI。
未知项
未另记
工具
禁止工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning validation split, 1,000 questions; average over 5 runs; new grader.
条件
Adaptive thinking/max effort, no tools.
在排名中查看此成绩
Accuracy89.9%原文 89.9% · 单位 %
公布 未确认
视觉基准 Python 工具
设置
Adaptive thinking、max effort、Python tools;各图表注明时平均 5 runs,95% CI。
未知项
未另记
工具
允许工具
推理预算
max
框架
未记录
协议
CharXiv Reasoning validation split, 1,000 questions; average over 5 runs; new grader.
条件
Adaptive thinking/max effort with Python tools.
在排名中查看此成绩