研究进展2 分钟读完Hacker News

StarSkirmish Bench v0.2:GPT-6 Astra 夺冠,Gemini 4 Argon 位居第三

速览

StarSkirmish 基准测试更新至 v0.2,要求各大模型在一小时内用 C++ 编写《星际争霸:母巢之战》的 Protoss 机器人。OpenAI 的 GPT-6 Astra 以最高分夺冠,GPT-6.1 Sol 以约十分之一的成本位列第二。Gemini 4 Argon 与 Claude 系列并列第三,但表现波动最大。

StarSkirmish Bench v0.2 要求每个模型在一小时内编写一个 Protoss 机器人,并与其对手的机器人及人类编写的机器人对战,以平均胜率(0-100)计分。v0.2 版本与 v0.1 的关键区别在于,每个模型都运行在其所在实验室的第一方 CLI 工具中,并以最高推理强度运行。而 Gemini 4 Argon 由于工具限制,只能运行在「高」强度而非「最高」。

  • GPT-6 Astra 得分最高,领先第二名 GPT-6.1 Sol 一个身位。
  • Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 得分均在 37 至 39 之间,并列第三。
  • Muse Wonder Full 排名第七,取代了 v0.1 中的 Muse Spark 1.3。

在成本效率方面,GPT-6.1 Sol 表现突出,其每次运行的平均成本仅为 GPT-6 Astra 的十分之一左右,却拿到了第二名的成绩,成为最具性价比的选择。

然而,所有模型在面对人类顶尖机器人时仍显乏力。即使是最好的 GPT-6 Astra,在与 Stardust、PurpleWave 和 BananaBrain 这三个顶级人类机器人的对战中,胜率也仅有 7%。这表明当前模型在长期推理和智能体编程方面尚未接近饱和。

另一个发现是,模型得分与其实战练习次数高度相关。得分高的模型(如 GPT-6 Astra、GPT-6.1 Sol 和 Gemini 4 Argon)在刚开始时便会与强机器人对战,即使自己还赢不了;而得分低的模型(如 Muse Wonder Full、Claude Haiku 5.5)则很少或从不这么做。

原文Show HN: Gemini 4 Argon plays StarCraftstarskirmish.com

#Gemini#StarCraft#基准测试

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。