模型发布2 分钟读完Hacker News

NVIDIA 用两台 DGX Station 跑 GLM-5.3,vLLM 实现 607.8 tok/s 吞吐

速览

NVIDIA 发布教程,展示如何用两台 DGX Station 通过 RDMA 连接,以张量并行方式本地运行 7530 亿参数的 GLM-5.3 量化模型。单张 GB300 GPU 的 252GB 显存放不下 464GB 的模型权重,双机方案解决了这一问题。实测在 16 并发下输出吞吐达 607.8 tokens/s,32 并发时降至 385 tokens/s。

GLM-5.3 NVFP4 是 Z.ai 混合专家模型的量化版本,拥有 7530 亿参数,每个 token 激活 400 亿参数。虽然稀疏激活减少了计算量,但全部权重仍需驻留显存,因为不同 token 可能路由到不同专家。该 checkpoint 约需 464GB 显存,超出单块 GB300 GPU 的 252GB HBM3e 容量,因此教程采用两台 DGX Station 通过 ConnectX-8 RDMA 互联的方案。

  • 张量并行(TP=2)将模型张量拆分到两块 GPU 上,每块各持约一半权重并参与全部计算,Station A 通过单一 OpenAI 兼容接口返回结果。
  • 部署前需用 Connect Two DGX Stations playbook 完成硬件连接和验证,包括双轨 RDMA 内存测试。
  • vLLM 在双机间启动分布式服务,支持多 token 预测、FP8 KV 缓存和前缀缓存,以提升并发负载下的吞吐。
  • AIPerf 基准测试基于 SPEED-Bench Coding 数据集,16 并发时峰值吞吐 607.8 tokens/s,32 并发时降至 385 tokens/s,平均延迟 453.5 秒。

教程面向拥有双 DGX Station 环境的开发者,完整流程涵盖环境准备、模型下载、服务启动和性能基准测试。NVIDIA 建议用户参考 Local AI recipe 仓库获取最新配置,并用自定义提示词重新运行 AIPerf 以确定工作负载的最优并发数。

原文Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLMdeveloper.nvidia.com

#GLM#vLLM#推理优化#Nvidia

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。