∴ GitHub / 趋势仓库

jingyaogong / minimind

从零训练 64M 参数大语言模型的完整开源教程与代码

语言
Python
Star
66.3k
Fork
8.7k
当日新增(11-18)
+192
累计在榜
2 天
最高名次
第 14 名
首次上榜
2026-11-17
去 GitHub 查看 ↗项目主页 ↗

∴ 是什么

MiniMind 是一个从零开始训练超小规模语言模型(约 64M 参数)的开源项目,提供完整的模型结构代码(Dense + MoE)、Tokenizer 训练、数据预处理、预训练、指令微调、LoRA、RLHF、RLAIF、Tool Use、Agentic RL 等全过程代码。所有核心算法均使用 PyTorch 原生实现,不依赖 transformers、trl、peft 等第三方库的高层抽象。项目还提供推理脚本、基于 Streamlit 的 WebUI、兼容 OpenAI API 的服务端,以及扩展的视觉和多模态模型。

∴ 解决什么问题

  • 动辄数百亿参数的大模型难以在个人设备上训练和部署,打开黑盒子理解内部机制困难
  • 现有框架如 transformers 等只暴露高度抽象接口,将开发者与底层实现隔离
  • 互联网上大量付费课程和营销内容用一知半解的讲解包装 AI 教程,学习门槛高
  • 用 LoRA 微调现有大模型只是学习新指令,偏离理解 LLM 本质的初衷

∴ 怎么上手

  1. 01git clone --depth 1 https://github.com/jingyaogong/minimind
  2. 02cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
  3. 03从数据集下载链接下载 pretrain_t2t_mini.jsonl 与 sft_t2t_mini.jsonl 放入 ./dataset 目录
  4. 04cd trainer && python train_pretrain.py
  5. 05cd trainer && python train_full_sft.py
  6. 06python eval_llm.py --weight full_sft

∴ 适合谁

适合希望深入理解大语言模型内部原理、并愿意从零开始动手训练和复现模型的开发者、研究人员和学习者,尤其是拥有个人 GPU 但资源有限的用户。

∴ 要点

  • 模型主线结构对齐 Qwen3 / Qwen3-MoE 生态,Dense 约 64M,MoE 约 198M-A64M
  • 关键训练算法与核心模块均从 0 实现,不依赖第三方框架封装
  • 兼容 transformers、trl、peft 等主流框架,以及 llama.cpp、vllm、ollama 等推理引擎
  • 支持单机单卡与单机多卡(DDP、DeepSpeed)训练,支持 wandb / swanlab 可视化
  • 支持在 C-Eval、C-MMLU、OpenBookQA 等第三方测评集上进行评测
  • 基于 Apache 2.0 协议开源,完全免费
许可证 Apache-2.0artificial-intelligencelarge-language-model

解读由 AI 依据项目 README 生成,生成于 2026-11-17,以 GitHub 原文为准。

∴ 在榜记录

GitHub Trending 今日榜的每日存档,日期按北京时间。2026-11-17 首次上榜,累计在榜 2 天,最高第 14 名。

[object Object]2026-11-17 +1882026-11-18 +192
每日新增 Star · 2026-11-17 至 2026-11-18 · 共 2 个在榜日峰值 +192
日期名次当日新增总 Star
#14+19266,336
#14+18865,693