用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。
一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。
本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。
用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。
一站式大模型微调工具，支持 LoRA、QLoRA、全参等多种训练方式，用配置文件就能跑起各种开源模型的微调任务。
提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。
从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。
Amazon SageMaker 官方示例集，用 Jupyter Notebook 演示如何构建、训练和部署机器学习模型，适合上手 MLOps 全流程。
低代码训练框架，用声明式配置就能构建和微调自定义 LLM、神经网络及其他 AI 模型，省去手写大量训练代码。
无需训练即可修改语言模型行为，通过消融技术去除审查、抑制废话、减少谄媚，让模型输出更直接可控。
一套系统的大语言模型入门课程，用学习路线图和可直接运行的 Colab 笔记本，带你从零掌握 LLM 的原理与实战。
…s-on AI courses that run anywhere. New this week: DPO from the RLHF objective, vet before you connect, and judges that agree with humans Three new lessons, one in each of
…release on the v0.76.0 line. It makes the bundled DPO examples train again, puts the same nesting and expansion limits, and a size cap, on every YAML file Soup reads, fix
…nt 工具调用（Function Call / Tool Use）训练能力，主路径覆盖 SFT 和 DPO 。同时补齐了工具数据格式处理、样例数据和脚本兼容性，方便在教学和实验场景中直接上手。 主要更新 - 支持 SFT 和 DPO 的 Agent / Function Call 微调训练 - 新增多种模型的 tool format 适配
…d modeling.py PPO（强化学习）— training/ppo training.py DPO（直接偏好优化）— training/dpo training.py ORPO（比值比偏好优化）— training/orpo training.py GRPO（群组相对策略优化）— training/grpo training.py
…- 首个版本发布！ 📌 主要功能 - ✅ 支持生成 SFT 数据集（监督微调） - ✅ 支持生成 DPO 数据集（偏好对齐） - ✅ 提供可视化界面进行数据管理 - ✅ 支持 Redis 工作流（Beta） Full Changelog : https://github.com/599yongyang/DatasetLoom/commi
…s such as NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO. However, the voice interaction and web interface functionalities are not yet ideal. After the master branch starts