一站式大模型微调工具,支持 LoRA、QLoRA、全参等多种训练方式,用配置文件就能跑起各种开源模型的微调任务。
本地跑和训练大模型、扩散模型的图形界面,支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型,省去命令行配置的麻烦。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。
让大模型在普通显卡上跑起来的 PyTorch 量化库,支持 8-bit 和 4-bit 权重压缩,也是 QLoRA 微调背后的核心依赖。
用一份 YAML 配置就能微调大模型,靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来,省去手写训练脚本和显存焦虑。
汇集大模型技术原理与实战经验的开源知识库,覆盖训练、推理、部署和工程化落地全流程,适合系统学习大模型应用开发。
提供 20 多个高性能大语言模型的训练配方,覆盖预训练、微调和规模化部署全流程,适合想快速上手 LLM 训练与推理的开发者。
Llama 官方示例手册,手把手教你在推理、微调、RAG 等场景中落地 Llama 系列模型,并覆盖多家云服务商的端到端方案。
用强化学习训练 Transformer 语言模型的全流程库,覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法,省去自己拼训练管线。
低代码训练框架,用声明式配置就能构建和微调自定义 LLM、神经网络及其他 AI 模型,省去手写大量训练代码。
一套系统的大语言模型入门课程,用学习路线图和可直接运行的 Colab 笔记本,带你从零掌握 LLM 的原理与实战。
…recommended CPU full/LoRA, and RTX 4080 CUDA LoRA/QLoRA. Training cases completed two optimizer updates, changed saved tensors, and reloaded for generation; QLoRA exercis
…ed on Linux and Windows. Local RTX 4080 CUDA LoRA/QLoRA candidate checks execute updates, save and reload outside the checkout. WSL GPU, other GPU hardware, Flash Attenti
…hout rescaling static weights - fail clearly when QLoRA or 8-bit optimizer dependencies are unavailable - add safer recipe generation and optional Liger kernels - expand
…nting does not remove it. Previously unmodeled. - QLoRA weights are no longer "all params × 0.5 B" — only Linear layers are 4-bit; embeddings, lm head (twice for untied m
…s-foundation/bitsandbytes/pull/1856 [Docs Update] QLoRA 4-bit Support on ROCm by @Abdennacer-Badaoui in https://github.com/bitsandbytes-foundation/bitsandbytes/pull/1857
…n be costly. Maestro's built-in support for LoRA, QLoRA, and graph freezing allows training larger models even on less powerful hardware. - VLMs fine-tuning requires lots