RunAnywhere 开源 TrnRT:面向 AWS Trainium 的 LLM 推理引擎
速览
RunAnywhere 公司开源了 TrnRT,一个专为 AWS Trainium 芯片设计的 LLM 推理引擎,目前支持在 trn2.48xlarge 实例上运行 GLM-5.3-Flash 模型。该引擎通过 NKI 融合内核和前缀缓存等技术,在 SemiAnalysis AgentX 基准上达到每分钟 357 万 token 的处理能力。对开发者而言,这意味着可以更低成本在 AWS 专用芯片上部署开源模型。
TrnRT 的核心设计是使用 NKI 编写解码大内核,每个半层一个内核,并针对 11 个稀疏注意力层将两个块融合为单个内核。引擎在 32 个逻辑 NeuronCore 上做张量并行,并通过会话亲和路由器管理两个引擎实例。它还实现了跨设备与主机内存的前缀缓存,用基数树管理 FP8 KV 页,并在主机内存中存储被驱逐的页和状态检查点。
当前 TrnRT 支持 GLM-5.3-Flash(320B MoE,18B 激活参数,FP8,100 万 token 上下文),在单台 trn2.48xlarge 上可同时服务两个实例。其编译流程在 CPU 主机上完成,服务器只加载图而无需编译,用户需要 Docker 和 trn2.48xlarge 实例来运行。
性能方面,在 SemiAnalysis AgentX 基准上(1M token 上下文,32 个并发 agent),trn2.48xlarge 的 p50 解码速度为每秒 357 万 token(该数字来自早前构建,当前仓库已通过图等价性和输出一致性验证)。按现货价格 $8.60/小时计算,batch 12 配置下每百万 token 成本为 $0.167。
项目结构清晰,包括模型定义、NKI 内核、编译管线、服务端和测试套件,并提供了详细的架构文档和开发指南。RunAnywhere 表示欢迎社区贡献,后续将支持更多开源模型。
原文Show HN: TrnRT – An open-source LLM inference engine for AWS Trainiumgithub.com
#开源#训练推理#AWS Trainium
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。