Cerebras 上线 Qwen 3.8 27B，推理速度约 1500 token/秒

Cerebras 更新了其推理文档，在公共 API 端点中加入了 Qwen 3.8 27B 模型。根据文档中的规格表，该模型拥有 270 亿参数，推理速度约为每秒 1500 token。上下文长度方面，免费试用层为 64k token，付费层则为 128k token。

该模型可通过 Cerebras 的免费试用和按量付费层访问，但受速率限制和定价约束。目前文档列出的另一款模型是 OpenAI 的 GPT OSS 120B，参数为 1200 亿，速度约每秒 3000 token。

Cerebras 在文档中强调，所有公共端点提供的是未剪枝的原始模型。公司虽然研究诸如 REAP 之类的剪枝技术，但相关模型仅发布在 Hugging Face 上供研究用途，不会通过公共 API 提供。此外，模型权重在存储时仅采用选择性量化以保持质量，敏感层会以全精度存储，且激活、注意力和 KV 缓存均保持全精度不量化。