用 LoRA、Adapter 等少量参数微调大模型和扩散模型,大幅降低显存与训练成本,是 Hugging Face 生态里做参数高效微调的标准库。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。
一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
用一份 YAML 配置就能微调大模型,靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来,省去手写训练脚本和显存焦虑。
从零用 PyTorch 一步步实现类 ChatGPT 大语言模型,覆盖注意力机制、预训练、指令微调全流程,适合边跑代码边理解 LLM 内部原理。
汇集大模型技术原理与实战经验的开源知识库,覆盖训练、推理、部署和工程化落地全流程,适合系统学习大模型应用开发。
用强化学习训练 Transformer 语言模型的全流程库,覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法,省去自己拼训练管线。
面向中文用户的 Linux 环境大模型实战教程,手把手教你在本地微调(全参数/LoRA)和部署国内外开源 LLM 与多模态模型。
统一评测语言模型少样本能力的框架,支持多种任务和模型,方便横向对比不同模型的性能表现。
…te-mp evaluation, and LoRA adapters in aimet onnx.peft (ff4f611, 901c4cf, 76e0b47, 28ace30, 36190d4, bea0d4e, fee0d31, 66e6e3b, 606ee2f, 46bbd5d, a3f7904, cfa85a5, c50768
This is a PEFT release fixes an issue that prevented encoder-decoder models to work when using Transformers ≥ 5.18.0. Changes: - 3845
This is a small PEFT release to enable Tensor Parallel (TP) to work properly with PEFT. It requires Transformers ≥ 5.17.0 to work. Changes: 3614 3790
Highlights <img width="1248" height="560" alt="peft-v0 21 0" src="https://github.com/user-attachments/assets/c2b8b162-6564-4c7f-b5b6-130b8808ea18" / New methods Riemannia
…pported dependency ranges to allow torch<2.12.0 , peft<0.20.0 , and pillow<12.3.0 .
…5 Full Changelog : https://github.com/huggingface/peft/compare/v0.19.0...v0.19.1