开发者用190行纯JAX代码复现DeepSeek V3,在MacBook Air上完成训练
速览
一位开发者发布了一个用纯JAX实现的DeepSeek V3架构,仅190行代码,无Flax、Equinox或PyTorch依赖。模型在MacBook Air M5上从零训练,使用公开领域侦探小说作为数据。该实现展示了DeepSeek V3的核心技术,包括MLA注意力、专家混合和MTP模块。
项目作者 Vaibhaav-Tiwari 将 DeepSeek-V3 技术报告中的架构用 190 行纯 JAX 代码实现,参数存储为普通字典,每个模型部分都是可直接阅读的函数。训练数据来自 207 本公版侦探小说,共 2170 万 token,在 MacBook Air M5(24GB)上训练 12,000 步耗时约 2.6 小时,模型规模 3620 万参数,每个 token 激活 1360 万参数。
实现包含三个关键创新:
- MLA 注意力:每个 token 仅缓存一个小型潜变量(480→144 数字),所有头共享一个旋转位置编码
- 无辅助损失的专家平衡:16 个路由专家(top-4)加 1 个共享专家,通过 per-expert 偏置调整路由选择
- MTP 多 token 预测:额外模块预测下一个 token 之后的 token,损失权重 λ=0.3
作者测试了专家平衡机制的效果。在 2000 步时,有偏置的专家负载均匀(5.7-6.9%,理想值 6.25%),无偏置的负载范围 0.09-18.6%。两者验证损失几乎相同(3.921 vs 3.923),证实偏置在不牺牲性能的情况下实现负载均衡。
项目提供完整训练和采样脚本,以及预训练检查点和数据。需要注意的是,checkpoint 是 Python pickle 格式,加载时可能执行任意代码,仅应加载可信来源的文件。该实现需要在 Apple Silicon Mac 上运行,使用 Python 3.12 和 uv 包管理器,CPU 模式也可运行但速度较慢。项目作者明确表示,这是一个架构演示,而非强语言模型。
原文Show HN: DeepSeek V3 in ~200 lines of pure Jaxgithub.com
#DeepSeek#Jax#开源#实现
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。