Qwen3.8 27B量化实测：4-bit无损，1-bit崩溃

一篇来自 Quesma 的博客文章对 Qwen3.8 27B 模型的多种 GGUF 量化版本进行了基准测试，测试结果近日在 Hacker News 上引发讨论。作者对比了完整 BF16 模型与 8-bit、4-bit、2-bit 和 1-bit 量化版本在 GPQA Diamond、IFBench 和 Terminal-Bench 2.1 上的表现。

测试显示，4-bit 量化版本（Q4_K_M，17GB）在各项基准上均与完整的 55GB BF16 模型持平，包括在 agentic 编程基准 Terminal-Bench 2.1 上。该版本可运行于 24GB 显存的 RTX 4090 显卡，并留有约 64k tokens 的上下文空间。2-bit 版本（UD-Q2_K_XL，10.7GB）在部分测试中得分略低，但在编程任务上仍能达到 Opus 4.7 或 Gemini 3.1 Pro 的水平。

然而，1-bit 量化（UD-IQ1_S，6.2GB）表现崩溃，在 GPQA Diamond 上的得分接近随机猜测，且更长的推理时间反而使结果更差。作者指出，量化对模型质量的损伤是非线性的：先是几乎无变化，然后小幅下降，最后彻底崩塌。测试还发现，推理强度设置（low、medium、xhigh）对结果影响显著，xhigh 通常需要约 8k 推理 tokens。