Qwen3.8 27B 本地实测：Mac Studio 上速度减半但总耗时持平

一位开发者在自己的 Mac Studio M3 Ultra（256GB 统一内存）上，用 Ollama 对 Qwen3.8 27B 做了为期 10 天的日常使用和基准测试。结果显示，Q4_K_M 量化版（17GB）生成速度约 14 tokens/s，而前代 Qwen3.6 27B 在同机同量化下可达 28.6 tokens/s。速度减半的原因是新模型采用了混合注意力架构，Ollama 的 Metal 内核尚未完全优化。

不过，速度下降并未带来实际的时间损失。Qwen3.8 回答同一组提示词平均只用约 1,000 tokens，而 Qwen3.6 需要 2,000 到 3,300 tokens。换算下来，前者单次回答约 67 秒，后者约 72 秒，基本打平。测试还发现，推理时 GPU 满载（63.95W），CPU 仅用 6W，系统总功耗约 291W。

作者还测试了 Unsloth 的 1-bit 量化版（6.7GB），生成速度提升到 27.2 tokens/s，事实性知识回答正确，但面对需要决断的任务时会反复自我怀疑，无法给出最终答案。Unsloth 官方文档也明确建议，代理或工具调用场景至少使用 Q2_K_XL（9.8GB）量化。

内存需求方面，Q4 量化建议 32GB 内存，Q2 量化 16GB 即可运行。作者提醒，需要最近几周的 llama.cpp 构建版本，旧版本会报「unknown model architecture: 'qwen35'」错误。