研究进展2 分钟读完Hacker News

HybridAgents:让LLM代理在隐空间思考并通过文本行动

速览

Together AI等机构发布HybridAgents,一种能动态切换隐空间推理与文本交互的LLM代理架构。相比前沿文本代理,它在11个基准上平均提升10.4%性能,同时减少35.5%-54.7%的token消耗,推理速度提升1.8-2.6倍。对开发者而言,这意味着更高效、更便宜的代理推理,且隐式思考过程可直接检查。

HybridAgents的核心是解决一个矛盾:纯文本推理的LLM代理虽然能调用工具,但思考效率低;而隐空间推理虽高效,却无法原生访问工具,且过程不透明。研究团队通过两个关键设计来弥合这一鸿沟。

  • HybridLink:一个轻量模块,让模型在文本和隐空间模式之间无缝切换,既保留工具调用能力,又让隐式思考变得可检查。
  • 连续工作记忆:跨多轮对话保存无损的混合上下文,避免信息在模式切换中丢失。

在训练方面,论文提出了两阶段算法:先用HybridSFT稳定工具集成的混合生成,教会主干模型与HybridLink协同;再用HybridRL扩展推理能力,让模型自主学习何时该在隐空间思考、何时该通过文本行动。

评估覆盖了数学、科学、医学、搜索和代理推理等11个基准,模型规模从1.8B到70B不等。相比文本和隐空间方法的最新代理,HybridAgents在性能提升的同时,还带来了显著的效率优势:token消耗减少35.5%-54.7%,推理速度提升1.8-2.6倍,成本降低2.7-3.7倍。代码、数据和模型权重已开源在GitHub和Hugging Face上。

原文Hybrid Reasoning Agents: LLM agents that think in latent space, act through textarxiv.org

#LLM智能体#开源#推理优化

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。