Claude Fable 5.1 发布,基准测试领跑但鹈鹕测试更亮眼
速览
Anthropic 发布 Claude Fable 5.1 模型,官方称其在编程、知识工作和长时任务上树立新标准。新模型在 Terminal-Bench-Science 0.1 基准上得分 52.6%,远超前代及其他模型。作者实测发现,该模型在生成 SVG 鹈鹕图像任务上表现惊艳,最高推理级别下产出质量极高。
Anthropic 今日发布 Claude Fable(及 Mythos)5.1 版本。官方宣称 Fable 5.1 "为编程、知识工作和长时问题解决任务树立了新标准"。公告重点强调了科学研究能力,在 8 月 27 日首次公布的 Terminal-Bench-Science 0.1 基准上得分 52.6%,大幅领先 Fable 5 的 24.7%、Opus 5 的 29.0% 和 GPT-5.6 Sol 的 22.4%。其他基准测试分数提升不大,但科学项表现最为突出。
作者 Simon Willison 在博客中分享了对该模型的实测体验。他此前对"鹈鹕基准"(用 SVG 生成鹈鹕骑自行车的图像测试)的有效性存疑,但发现同模型家族内不同推理级别下的对比仍有价值。Fable 5.1 提供 low、medium、high、xhigh、max 五个推理级别,且无法完全关闭推理。在 low 和 medium 级别,模型似乎跳过了推理,输出效果平平;high 级别略有推理痕迹;到 xhigh 级别,输出 token 数飙升至 36,767,耗时 7 分 51 秒,花费 1.83 美元,效果明显改善;最高级别 max 更是产出 65,927 个 token,耗时近 14 分钟,花费 3.30 美元,生成了他见过最好的鹈鹕 SVG——腿在车架两侧、脚踩踏板、翅膀搭在车把上,还戴了蓝色帽子,车篮里放着鱼。
作者随后将 max 级别的输出作为提示词,让模型进行动画化处理,花费 1.37 美元。得到的动画效果不错,只是车轮旋转方向有误。整体而言,Fable 5.1 在精细任务上的表现令人印象深刻,但作者也指出其创意思维仍不及 Gemini 3.7 Flash。
原文Claude Fable 5.1 made me a really nice animated pelicansimonwillison.net
#Anthropic#Claude#新模型
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。