标签：DPO

Soup

MakazhanAlpamys·Python

用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。

oumi

oumi-ai·Python

一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。

MedicalGPT

shibing624·Python

用 ChatGPT 同款流程训练医疗大模型，覆盖增量预训练、有监督微调、RLHF、DPO、ORPO、GRPO 全链路，开箱即可复现。

align-anything

PKU-Alignment·Python

一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。

用 TensorFlow/Keras 串联从文本预处理到 BERT、GPT、LLM 下游任务的实战教程，覆盖 NER、LoRA、DPO 等，适合系统学习 NLP 建模流程。