用 LoRA、Adapter 等少量参数微调大模型和扩散模型,大幅降低显存与训练成本,是 Hugging Face 生态里做参数高效微调的标准库。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。
一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
用一份 YAML 配置就能微调大模型,靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来,省去手写训练脚本和显存焦虑。
用 PEFT 和 LoRA 对 Falcon、Llama、Llama2 等大模型做低成本微调的实战教程合集,以 Jupyter Notebook 形式提供可直接跑通的训练流程。
复现 DeepSeek Engram 记忆架构的研究项目,基于 Qwen-3 和 Stable Diffusion,用 LoRA/PEFT 给大模型注入外部记忆,免去全量微调。
xTuring 提供从数据预处理到微调的完整流程,让开发者用 LoRA、Adapter 等轻量方法快速个性化开源大模型,降低训练门槛和显存开销。
配套《Fine-Tuning LLMs with PyTorch and Hugging Face》一书的实战代码库,用 LoRA、PEFT、bitsandbytes 量化等手把手教你在消费级显卡上微调大模型。
把语音、音频、音乐接进大语言模型做多模态处理的开源框架,支持参数高效微调,方便快速搭建语音理解与生成任务。
面向大模型量化的压缩工具包,支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速,可无缝接入 HF、vLLM 和 SGLang 推理。
在 Apple Silicon Mac 上原生微调大模型的工具,基于 MLX 支持 SFT、DPO、GRPO 以及视觉、语音、OCR 等多模态训练,API 兼容 Unsloth。
单卡微调大模型前的显存预检工具,估算显存占用并给出可直接跑的 LoRA/QLoRA 配置,避免盲目开训就爆显存。
Halo 是 White Circle 开源的大模型与多模态模型训练框架,支持分布式训练、LoRA 微调、MoE 和异步强化学习,方便搭建和扩展训练流程。
PiSSA 是一种参数高效微调方法,用主奇异值和奇异向量初始化 LoRA 的低秩矩阵,让大模型微调收敛更快、效果更好。
MindSpore 官方的大模型实战课程,带你从 BERT、GPT 一路动手实现到 ChatGLM、LLaMA2,适合系统学习大模型原理与训练推理。
自动化调整大模型对齐行为的工具,支持直接干预、LoRA 和 MoE 专家级消融,并用 Optuna 多目标搜索调参。
在单张消费级显卡上跑 PPO、GRPO 和同策略蒸馏的轻量 RL 训练框架,让普通玩家也能做 LLM 对齐后训练。
用 PPO 强化学习和 LoRA 低秩适配微调 LLaMA 模型,做 RLHF 对齐训练,显存占用低,适合在单卡上跑通大模型偏好优化流程。
在 ComfyUI 里直接训练、分块编辑并保存 LoRA,支持 Z-image、Flux Klein、SDXL、Flux、WAN 2.2 和 SD 1.5,省去外部训练脚本的来回折腾。
一套面向大语言模型的实战课程 Notebook,覆盖 Hugging Face、LangChain、PEFT 微调、模型剪枝和向量数据库等,帮你从零动手跑通 LLM 应用与优化流程。
…te-mp evaluation, and LoRA adapters in aimet onnx.peft (ff4f611, 901c4cf, 76e0b47, 28ace30, 36190d4, bea0d4e, fee0d31, 66e6e3b, 606ee2f, 46bbd5d, a3f7904, cfa85a5, c50768
This is a PEFT release fixes an issue that prevented encoder-decoder models to work when using Transformers ≥ 5.18.0. Changes: - 3845
This is a small PEFT release to enable Tensor Parallel (TP) to work properly with PEFT. It requires Transformers ≥ 5.17.0 to work. Changes: 3614 3790
Highlights <img width="1248" height="560" alt="peft-v0 21 0" src="https://github.com/user-attachments/assets/c2b8b162-6564-4c7f-b5b6-130b8808ea18" / New methods Riemannia
…pported dependency ranges to allow torch<2.12.0 , peft<0.20.0 , and pillow<12.3.0 .
…5 Full Changelog : https://github.com/huggingface/peft/compare/v0.19.0...v0.19.1