在 PaLM 架构上实现 RLHF 人类反馈强化学习，复现 ChatGPT 式训练流程，适合研究大模型对齐与强化学习微调。
云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。
…/ training/supervised finetuning accelerate.py RM（奖励模型）— training/reward modeling.py PPO（强化学习）— training/ppo training.py DPO（直接偏好优化）— training/dpo training.py ORPO（比值比偏好优
…题 5. 模型训练与评估 - 增加LlamaFactory模型评估 - LlamaFactory支持奖励模型训练和强化学习 - 直接输出LlamaFactory评估指标 - 支持断点续训（YOLOv8） - 升级YOLOv8，去除YOLOv7 - 优化SFT pipeline 6. 部署与运维优化 - 支持SSH Proxy - 优化NP