小模型ARC-AGI拿44%：成本仅67美分，开源可复现

一位独立开发者发布博客，展示如何用一块5090显卡在1.5小时内从头训练一个小型Transformer，在ARC-AGI-1公开评测上取得44%的分数。该成绩超过了此前TRM/HRM模型的水平，方法完全开源。这是其系列博客中的第三篇，前作曾引发包括Lucas Beyer、Jeremy Howard、Rohan Anil等知名研究者的讨论。

该方法的核心思路是将每个输入输出对转换为token序列，用小Transformer自回归训练。测试时从头训练，并加入颜色和对称变换数据增强。相比前作，本次升级移除了输入token的训练，损失函数只包含输出token，使方法变为监督学习，分数从约40%提升至44%。作者承认原因尚不明确，推测与模型容量有限有关。架构上也改用SwiGlu激活函数和RMSnorm，层数从4层增至8层。

成本下降主要来自大幅减少数据增强次数和使用flash attention优化。作者还严格筛选了ARC-2数据集，剔除了773个重复任务以避免数据泄漏，并将部分非重叠任务加入训练。消融实验显示，移除3D RoPE位置编码或每任务嵌入会使分数降至约24%，表明这两项是性能贡献最大的组件。

作者认为采样效率是当前AI最重要的问题，希望找到Transformer方法的极限并降低研究门槛。代码已在GitHub开源，他估计通过改进位置编码或进一步优化架构，或许能达到65%的分数。