karpathy / nanochat

∴ 是什么

nanochat 是一个用于训练大语言模型的实验性框架，代码极简且易于修改，覆盖 tokenization、预训练、微调、评估和推理等主要阶段。它通过单一参数 --depth（Transformer 层数）自动计算其他所有超参数，以训练出计算最优的模型。框架支持在单 GPU 节点上运行，并提供 CLI 对话接口。

∴ 解决什么问题

• ›以远低于原始训练成本（如 GPT-2 约 $43,000）的代价训练出具备 GPT-2 能力的模型
• ›简化 LLM 训练流程，无需手动调整众多超参数
• ›提供可复现的基准脚本，用于快速验证训练改进

∴ 怎么上手

1. 01安装依赖：uv sync --extra gpu（或 --extra cpu），然后 source .venv/bin/activate
2. 02运行训练脚本：bash runs/speedrun.sh
3. 03训练完成后（约 1.5 小时），激活虚拟环境并启动 CLI 对话：python -m scripts.chat_cli

∴ 适合谁

对 LLM 训练感兴趣的开发者或研究人员，希望在单节点上快速实验、复现 GPT-2 级别模型，或参与训练速度优化和基准改进。

∴ 要点

• ›用单个 --depth 参数控制模型复杂度，自动推导宽度、头数、学习率、训练周期等超参数
• ›支持 CUDA（A100/H100 等）和 CPU/MPS 环境，精度通过全局 COMPUTE_DTYPE 显式管理
• ›维护一个 GPT-2 速度跑排行榜，跟踪训练到 GPT-2 能力的最短耗时
• ›代码基于原生 PyTorch，理论上可运行于 XPU、MPS 等平台
• ›许可证为 MIT

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-11-02 首次上榜，累计在榜 1 天，最高第 14 名。