∴ GitHub / 趋势仓库
jingyaogong / minimind
从零训练 64M 参数大语言模型的完整开源教程与代码
- 语言
- Python
- Star
- 66.3k
- Fork
- 8.7k
- 当日新增(11-18)
- +192
- 累计在榜
- 2 天
- 最高名次
- 第 14 名
- 首次上榜
- 2026-11-17
∴ 是什么
MiniMind 是一个从零开始训练超小规模语言模型(约 64M 参数)的开源项目,提供完整的模型结构代码(Dense + MoE)、Tokenizer 训练、数据预处理、预训练、指令微调、LoRA、RLHF、RLAIF、Tool Use、Agentic RL 等全过程代码。所有核心算法均使用 PyTorch 原生实现,不依赖 transformers、trl、peft 等第三方库的高层抽象。项目还提供推理脚本、基于 Streamlit 的 WebUI、兼容 OpenAI API 的服务端,以及扩展的视觉和多模态模型。
∴ 解决什么问题
- 动辄数百亿参数的大模型难以在个人设备上训练和部署,打开黑盒子理解内部机制困难
- 现有框架如 transformers 等只暴露高度抽象接口,将开发者与底层实现隔离
- 互联网上大量付费课程和营销内容用一知半解的讲解包装 AI 教程,学习门槛高
- 用 LoRA 微调现有大模型只是学习新指令,偏离理解 LLM 本质的初衷
∴ 怎么上手
- 01git clone --depth 1 https://github.com/jingyaogong/minimind
- 02cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
- 03从数据集下载链接下载 pretrain_t2t_mini.jsonl 与 sft_t2t_mini.jsonl 放入 ./dataset 目录
- 04cd trainer && python train_pretrain.py
- 05cd trainer && python train_full_sft.py
- 06python eval_llm.py --weight full_sft
∴ 适合谁
适合希望深入理解大语言模型内部原理、并愿意从零开始动手训练和复现模型的开发者、研究人员和学习者,尤其是拥有个人 GPU 但资源有限的用户。
∴ 要点
- 模型主线结构对齐 Qwen3 / Qwen3-MoE 生态,Dense 约 64M,MoE 约 198M-A64M
- 关键训练算法与核心模块均从 0 实现,不依赖第三方框架封装
- 兼容 transformers、trl、peft 等主流框架,以及 llama.cpp、vllm、ollama 等推理引擎
- 支持单机单卡与单机多卡(DDP、DeepSpeed)训练,支持 wandb / swanlab 可视化
- 支持在 C-Eval、C-MMLU、OpenBookQA 等第三方测评集上进行评测
- 基于 Apache 2.0 协议开源,完全免费
许可证 Apache-2.0artificial-intelligencelarge-language-model
解读由 AI 依据项目 README 生成,生成于 2026-11-17,以 GitHub 原文为准。
∴ 在榜记录
GitHub Trending 今日榜的每日存档,日期按北京时间。2026-11-17 首次上榜,累计在榜 2 天,最高第 14 名。