研究进展2 分钟读完Hacker News

能基推理器问世:数独难题推理计算量暴降345倍

速览

研究团队提出一种名为 Energy-Based Reasoners (EBRs) 的新型循环推理模型。EBRs 通过学习能量函数来引导推理,在多个算法推理基准上取得领先成绩。在 Sudoku-Extreme 任务上,EBRs 达到 99.9% 准确率,推理计算量却比此前最佳模型少 345 倍。

EBRs 的核心设计是将循环推理过程视为对能量函数进行梯度下降。每个推理状态会被能量函数打分,分数越低表示状态越好;梯度则指明改进方向,梯度变小则代表模型收敛,可停止循环。此外,模型会在多个可能的解中挑选能量最低的那个作为最终输出。

相比传统循环推理模型没有明确的进度衡量标准,EBRs 的这套机制让模型能自行判断「何时该停」和「如何优化」。训练方式上也加入了探索策略,让能量函数能覆盖更广的状态空间。

在 Sudoku-Extreme 基准上,EBRs 用 1.8M 参数达到 99.4% 的单样本准确率,高于参数量大得多的对比模型(如 TRM 的 87.4%、GRAM 的 86.6%)。进一步使用自适应停止策略,能动态调整推理步数,在保持 99.9% 准确率的同时,总计算量比固定步数的 EBR 少 10.9 倍。

在需要寻找多种解的任务上,EBRs 也表现突出:

  • 在 8×8 N-Queens 任务中,单样本准确率 100%,20 个样本覆盖了 98.1% 的不同有效解。
  • 在 10×10 N-Queens 任务中,20 个样本覆盖率达 92.0%。
  • 在 8 顶点图着色任务上,单样本准确率 100% 且零冲突,20 个样本覆盖率达 88.6%。

原文Energy-Based Reasoners: 385x more efficient inferenceenergy-based-reasoners.github.io

#推理效率#能耗优化#AI研究

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。