Claude Fable 5.1 · BenchCAD Vision2Code(1,000-file random subset of 17,900 files) · 附件证据(ev-f51-card-benchcad)

Claude Fable 5.1 的 BenchCAD Vision2Code · 1,000-file random subset of 17,900 files 官方出处。见《Claude Fable 5.1 and Claude Mythos 5.1 System Card》本地留存副本, PDF p.187。证据 ev-f51-card-benchcad。

原文与定位

Claude Fable 5.1 · BenchCAD Vision2Code(1,000-file random subset of 17,900 files),Adaptive Max配置,Voxel IoU 0.437(具体成绩公布时间未确认)。见《Claude Fable 5.1 and Claude Mythos 5.1 System Card》本地留存副本, PDF p.187。 查看成绩条件

Claude Fable 5.1 · BenchCAD Vision2Code(1,000-file random subset of 17,900 files),Adaptive Max配置,Voxel IoU 0.843(具体成绩公布时间未确认)。见《Claude Fable 5.1 and Claude Mythos 5.1 System Card》本地留存副本, PDF p.187。 查看成绩条件

On the 1,000-file subset of BenchCAD Vision2Code, Claude Fable 5.1 achieved a voxel IoU score of 0.437 without tools and 0.843 with tools.
官方材料
Claude Fable 5.1 and Claude Mythos 5.1 System Card · PDF 第 187 页
定位
附件 · 本地留存副本, PDF p.187
材料版本
PDF dated September 1, 2026; 212 pages. Full text review completed: pp.1-212. All 64 low-text or figure pages were rendered and visually inspected in 16 sheets; no additional standard Fable 5.1 capability scores were found in the supplementary safety/alignment sections. Revision date unknown. Local: 本地留存副本 and .txt.
版本公布
未确认
披露时间
未确认 · 首发/后补未确认
采集时间
历史依据
暂无可靠历史版本依据
引用文本

Claude Fable 5.1 · BenchCAD Vision2Code(1,000-file random subset of 17,900 files),Adaptive Max配置,Voxel IoU 0.437(具体成绩公布时间未确认);Claude Fable 5.1 · BenchCAD Vision2Code(1,000-file random subset of 17,900 files),Adaptive Max配置,Voxel IoU 0.843(具体成绩公布时间未确认)。官方出处 Claude Fable 5.1 and Claude Mythos 5.1 System Card(附件,PDF dated September 1, 2026; 212 pages. Full text review completed: pp.1-212. All 64 low-text or figure pages were rendered and visually inspected in 16 sheets; no additional standard Fable 5.1 capability scores were found in the supplementary safety/alignment sections. Revision date unknown. Local: 本地留存副本 and .txt.)本地留存副本, PDF p.187,https://www.anthropic.com/claude-fable-5-1-mythos-5-1-system-card#page=187。Benchlog https://benchlog.lekshome.cc/evidence/claude-fable-and-mythos-5-1/ev-f51-card-benchcad/

关联成绩与条件

Claude Fable 5.1 · BenchCAD Vision2Code 成绩与配置
指标与成绩配置与评测条件证据关系
Voxel IoU0.437原文 0.437 · 单位 未标注
公布 未确认
Adaptive Max
设置
Claude Fable 5.1;CursorBench 主文引述明确为 max effort;后续 System Card 对 OSWorld/BenchCAD/OfficeQA 对照结果亦标 max effort。
未知项
不同 benchmark 的具体执行细节分别见来源章节;部分测试的采样参数或运行数未单独公布。
工具
禁止工具
推理预算
max
框架
未记录
协议
BenchCAD Vision2Code; random 1,000-file subset of 17,900 files; adaptive max effort; average over five runs.
条件
No tools.

直接支持该成绩

在排名中查看此成绩
Voxel IoU0.843原文 0.843 · 单位 未标注
公布 未确认
Adaptive Max
设置
Claude Fable 5.1;CursorBench 主文引述明确为 max effort;后续 System Card 对 OSWorld/BenchCAD/OfficeQA 对照结果亦标 max effort。
未知项
不同 benchmark 的具体执行细节分别见来源章节;部分测试的采样参数或运行数未单独公布。
工具
允许工具
推理预算
max
框架
未记录
协议
BenchCAD Vision2Code; random 1,000-file subset of 17,900 files; adaptive max effort; average over five runs.
条件
Tools and image cropping enabled.

直接支持该成绩

在排名中查看此成绩