独立开发者用998美元训练3.8B模型，CORE评分超越GPT-2
速览
一位独立开发者花费998美元租用B200显卡，在43小时内训练出3.8B参数模型，CORE评分达0.384，超过GPT-2的0.2565。项目采用Muon优化器、FP8训练等技巧，并通过Trapezoidal学习率调度提升收敛效率。这表明个人开发者用有限预算也能训练出有意义的小模型。
Hugo Vergnes在个人博客上分享了训练3.8B参数语言模型的完整经历。他利用空闲时间编写代码，在5090显卡上调试，最终租用8块B200 GPU完成训练，总耗时43小时，花费998美元。模型在CORE基准上获得0.384分，明显高于GPT-2的0.2565分，也超过了Karpathy nanochat项目的0.310分。
项目采用了多项关键优化：使用Muon优化器处理矩阵参数，AdamW处理其余参数，Muon虽单步计算更慢，但整体收敛效率更高；改用ClimbMix数据集替代FineWeb-Edu，大幅提升收敛速度；通过FP8训练和vocab padding获得33%的吞吐量提升；采用Trapezoidal学习率调度，保持模型持续学习直到训练结束。
作者将此项目构建为配置驱动的训练框架little-lm，所有运行参数通过YAML文件定义，便于快速实验。他在博客中详细记录了失败的尝试，例如一次858M参数模型训练六天却表现不佳，通过分析损失曲线和学习率调度等问题，最终总结出上述优化方案。作者强调，个人开发者只要有几千美元预算，就能探索训练有价值的小模型。
原文Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergneshugovergnes.github.io
#开源#训练成本#LLM
本文由程序自动抓取公开报道，经 AI 筛选与改写生成，未经人工逐条核实，事实以原文为准。