连续扩散语言模型复兴：CDLM 挑战自回归霸权

连续扩散语言模型（CDLM）近期迎来一波新的研究热潮，这距离该领域的上次活跃已过去数年。作者指出，完全离散的扩散方法一度取代了早期连续扩散在语言建模上的尝试，但如今风向正在转变。这一趋势在 Hacker News 上获得 37 分和 7 条评论，引发技术社区关注。

扩散模型的核心思路与自回归模型截然不同：它不逐 token 生成序列，而是通过逆转一个逐渐破坏信息的加噪过程来重建文本。2021 年，首批语言扩散尝试采用离散机制（如多类别扩散、D3PM、SUNDAE），以适配分类数据。2022 年，Diffusion-LM 提出改用连续嵌入向量表示离散类别，使高斯噪声扩散机制得以直接应用，这一思路带动了 DiffuSeq、SSD-LM、GENIE 等一系列后续工作。

然而，2023 年后，连续方法几乎销声匿迹，研究全面转向离散扩散。作者推测，ChatGPT 的出现将研究重心从理论优雅性转向规模化性能，而离散方法在概念上更接近自回归，被认为更易追赶主流模型的表现。不过，近期的新研究密集出现，暗示连续路径正卷土重来，或许因为其在可控生成和跨模态任务上仍有独特优势。