lyogavin / airllm

∴ 是什么

AirLLM 是一个面向大语言模型的高效推理与训练工具，通过分层加载和块级量化等手段显著降低显存占用。它基于 PyTorch 生态，提供 AutoModel 接口，兼容多种主流模型架构。

∴ 解决什么问题

• ›单张 4GB 显存显卡无法运行 70B 级大模型
• ›超大模型（如 671B、2.8T）在消费级硬件上的推理显存瓶颈
• ›显存不足导致的大模型训练无法在小型 GPU 上开展

∴ 怎么上手

1. 01pip install airllm
2. 02from airllm import AutoModel
3. 03model = AutoModel.from_pretrained("Qwen/Qwen3-32B")
4. 04input_tokens = model.tokenizer(input_text, return_tensors="pt", return_attention_mask=False, truncation=True, max_length=MAX_LENGTH, padding=False)
5. 05generation_output = model.generate(input_tokens['input_ids'].cuda(), max_new_tokens=20, use_cache=True, return_dict_in_generate=True)
6. 06output = model.tokenizer.decode(generation_output.sequences[0])

∴ 适合谁

适合需要在低显存 GPU 上运行或微调大语言模型的开发者与研究人员。

∴ 要点

• ›支持 70B、405B、671B、2.8T 等超大规模模型在数 GB 显存内运行
• ›提供 4bit 和 8bit 块级量化加速选项
• ›支持 MacOS（Apple silicon）
• ›提供训练功能，可在小显存下训练大型模型
• ›遵循 Apache-2.0 许可证

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-10-11 首次上榜，累计在榜 4 天，最高第 7 名。