Qwen 3.8 27B 本地运行也能读懂模型权重,识别游戏类型
速览
一篇新论文发现前沿模型能直接读取和修改神经网络权重,GPT-6 Astra 表现突出。Simon Willison 测试后发现,Qwen 3.8 27B 在笔记本电脑上也能做到——仅凭权重数据识别出 Pac-Man、Pong 和 Breakout。这意味着本地小模型也能掌握权重空间编程能力。
论文《Sparks of Weight-Space Programming》由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 撰写,提出 LLM 可以原生读写神经网络权重,并将这一能力命名为 Weight-Space Programming。论文显示,GPT-6 Astra 仅看原始权重就能判断网络训练目标,还能从头写出超越 PPO 训练 1 亿步的小型游戏网络。
作者用四个 10x10 网格的经典游戏(Breakout、Pong、Pac-Man、Freeway)训练了四个策略网络,然后把权重以浮点数形式喂给 LLM,要求其不借助任何工具判断游戏类型。论文的 GitHub 仓库(RikiyaT/lm_understand-logs)提供了完整 prompts,除了权重不同,其余内容完全一致。
Simon Willison 用 LLM 工具配合 LM Studio 在本地运行 Qwen 3.8 27B(17GB 模型),对 Pac-Man 权重进行测试。耗时 46 分 12 秒、43,506 个推理 token 后,模型不仅猜对了游戏,还给出了详细描述:agent 在固定 8x8 迷宫中移动,收集奖励点并躲避移动物体。随后他又测试了 Pong(1 小时 4 分 54 秒)和 Breakout(52 分 25 秒),均正确识别。
值得注意的是,论文中 Qwen3.5-0.8B 的数学改进案例被 spaCy 作者 Matthew Honnibal 批评为误导,认为其混淆了「无工具推理」和「借助代码执行更新模型」两种能力。Sean Goedecke 也指出,Astra 修改权重的过程与人类 ML 研究者的常规步骤并无本质区别。Willison 则聚焦于无工具场景,认为这才是更有趣的部分。
原文Qwen 3.8 27B on my laptop can interpret model weights, toosimonwillison.net
#Qwen#权重解释#开源
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。