标签：QLoRA

LlamaFactory

hiyouga·Python

一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。

airllm

lyogavin·Jupyter Notebook

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

Soup

MakazhanAlpamys·Python

用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。

bitsandbytes

bitsandbytes-foundation·Python

让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。

LLM-Finetuning-Toolkit

georgian-io·Python

开源大模型微调工具箱，支持 LoRA 等参数高效微调，还能做消融实验和单元测试，方便快速验证 Llama2、Mistral、Falcon 等模型在分类任务上的效果。

halo

whitecircle·Python

Halo 是 White Circle 开源的大模型与多模态模型训练框架，支持分布式训练、LoRA 微调、MoE 和异步强化学习，方便搭建和扩展训练流程。

单卡微调大模型前的显存预检工具，估算显存占用并给出可直接跑的 LoRA/QLoRA 配置，避免盲目开训就爆显存。

面向 Apple Silicon 的本地大模型推理与微调框架，用 Rust 实现，支持 LoRA/QLoRA 微调、量化、模型服务和 MLX/Metal 加速。

在单张消费级显卡上跑 PPO、GRPO 和同策略蒸馏的轻量 RL 训练框架，让普通玩家也能做 LLM 对齐后训练。

用 LoRA/QLoRA 微调大模型，并借助思维链数据生成与蒸馏提升推理准确率，适合低成本定制模型。