用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
用 ChatGPT 同款流程训练医疗大模型，覆盖增量预训练、有监督微调、RLHF、DPO、ORPO、GRPO 全链路，开箱即可复现。
用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。
一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。
一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。
提供一套稳健的训练配方，用人类和 AI 偏好数据对齐语言模型，涵盖 SFT、DPO 等流程，帮你把基座模型调成听话好用的助手。
在 Apple Silicon Mac 上原生微调大模型的工具，基于 MLX 支持 SFT、DPO、GRPO 以及视觉、语音、OCR 等多模态训练，API 兼容 Unsloth。
用 TensorFlow/Keras 串联从文本预处理到 BERT、GPT、LLM 下游任务的实战教程，覆盖 NER、LoRA、DPO 等，适合系统学习 NLP 建模流程。
…s-on AI courses that run anywhere. New this week: DPO from the RLHF objective, vet before you connect, and judges that agree with humans Three new lessons, one in each of
…release on the v0.76.0 line. It makes the bundled DPO examples train again, puts the same nesting and expansion limits, and a size cap, on every YAML file Soup reads, fix
…nt 工具调用（Function Call / Tool Use）训练能力，主路径覆盖 SFT 和 DPO 。同时补齐了工具数据格式处理、样例数据和脚本兼容性，方便在教学和实验场景中直接上手。 主要更新 - 支持 SFT 和 DPO 的 Agent / Function Call 微调训练 - 新增多种模型的 tool format 适配
…d modeling.py PPO（强化学习）— training/ppo training.py DPO（直接偏好优化）— training/dpo training.py ORPO（比值比偏好优化）— training/orpo training.py GRPO（群组相对策略优化）— training/grpo training.py
…- 首个版本发布！ 📌 主要功能 - ✅ 支持生成 SFT 数据集（监督微调） - ✅ 支持生成 DPO 数据集（偏好对齐） - ✅ 提供可视化界面进行数据管理 - ✅ 支持 Redis 工作流（Beta） Full Changelog : https://github.com/599yongyang/DatasetLoom/commi
…s such as NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO. However, the voice interaction and web interface functionalities are not yet ideal. After the master branch starts