在 PaLM 架构上实现 RLHF 人类反馈强化学习，复现 ChatGPT 式训练流程，适合研究大模型对齐与强化学习微调。

一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。

基于安全强化学习的人类反馈对齐框架，通过约束优化让大模型在有用性和安全性之间取得平衡，附带 Beaver 系列模型与数据集。