模型发布·Hacker News

Cerebras发布CS-4推理系统,宣称比GPU快30倍

Cerebras推出新一代机架级AI推理系统CS-4,搭载三块WSE-3 Turbo晶圆,推理速度比GPU系统快最多30倍。该系统采用模块化设计,部署时间从数天缩短至数小时,支持超万亿参数模型。首批CS-4将于本季度开始发货。

Cerebras 于 8 月 19 日发布新一代机架级推理系统 CS-4,搭载三块 WSE-3 Turbo 晶圆,每块晶圆速度是上一代的两倍。官方称其推理速度比 GPU 系统快最多 30 倍,每瓦吞吐量比 CS-3 高 10 倍。

CS-4 首次采用 Nexus 机架平台架构,将计算、电源和 I/O 分离。每个晶圆级背包是独立组件,包含晶圆、电源转换、液冷和高速 I/O,组件数量减少 50%。电源距离处理器仅 0.5 毫米,比传统 GPU 主板近约 100 倍,可提供两倍电力,支持更高频率和更快 token 生成。

通过将晶圆间互连延迟降至 2 微秒,CS-4 在超过 10 万亿参数的模型上可实现每秒 1000 token 以上的生成速度。系统支持无交换机跨机架连接晶圆,便于在超大规模数据中心快速部署。Cerebras 表示首批 CS-4 将于本季度发货。

原文出处

Cerebras CS4

cerebras.ai

#Cerebras#芯片#硬件

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。