Artificial Analysis 发布 Intelligence Index v4.2:新增私有测试集,Anthropic 与 OpenAI 领跑
速览
Artificial Analysis 于 9 月 4 日发布 Intelligence Index v4.2,新增了更复杂、更贴近现实的任务和私有测试集,以防止模型刷分。该版本加入了 AA-Briefcase 和 GDP.pdf 两项新评估,并将私有测试集权重提升至 40%。在最新排名中,Anthropic 的 Claude Fable 5.1 位居榜首,OpenAI 的 GPT-6 Astra 紧随其后。
Artificial Analysis 今日宣布推出 Intelligence Index v4.2,这是其 AI 模型能力评估体系的临时更新版本。官方表示,此举是为了在快速变化的模型前沿领域保持评估的相关性,同时也是为计划中的 v5 版本做准备。v4.2 的主要变化包括新增两项评估任务和调整权重。
新加入的 AA-Briefcase 是机构内部开发的评估,采用私有测试集,专注于检验模型在复杂项目中执行多周知识工作任务的能力,这些任务由行业专家设计,包含数千个输入源文件。另一项新评估 GDP.pdf 由 Surge AI 创建,考察模型在 100 份 PDF、十个领域内进行单轮专业文档推理的能力,模型需综合分散在 4,592 页中的证据,并根据 1,275 条专家标准进行评分。此外,v4.2 将私有测试集的权重从 v4.1 的 20% 提升至 40%,以降低实验室针对评测进行优化的可能性。
在最新的排行榜上,Anthropic 的 Claude Fable 5.1 位列第一,OpenAI 的 GPT-6 Astra 紧随其后,后者比 GPT-5.6 Sol 高出 4 分。Meta 位居第三,之后是 SpaceXAI、Moonshot/Kimi、Z.AI 和 Google。在单项测试中,Anthropic 的模型在 AA-Briefcase 上领先,而 OpenAI 在 GDP.pdf 上表现最佳,GPT-6 Astra 的通过率为 33.2%。此外,GPT-6 Astra 在输出 token 效率方面表现突出,比大多数接近智能前沿的模型更具效率。
原文Artificial Analysis Intelligence Index v4.2artificialanalysis.ai
#AI指数#模型评测#基准测试
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。