提供一套稳健的训练配方，用人类和 AI 偏好数据对齐语言模型，涵盖 SFT、DPO 等流程，帮你把基座模型调成听话好用的助手。
无需写代码就能微调大语言模型的可视化界面，从数据准备到训练评估一站式完成，适合不想碰命令行直接调模型的团队。
…ling.py PPO（强化学习）— training/ppo training.py DPO（直接偏好优化）— training/dpo training.py ORPO（比值比偏好优化）— training/orpo training.py GRPO（群组相对策略优化）— training/grpo training.py DeepS