用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。
单文件实现的深度强化学习算法集合，涵盖 PPO、DQN、SAC 等主流算法，代码简洁易读，适合做研究和快速实验。
基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。
用 PyTorch 逐行复现 60 多篇深度学习经典论文，代码旁配注释讲解，涵盖 Transformer、优化器、GAN、强化学习等，适合边读论文边对照实现学习。
基于 PyTorch 的强化学习算法库，提供 PPO、SAC、TD3 等常用算法的可靠实现，开箱即用，适合机器人控制和仿真环境训练。
基于 PyTorch 的深度强化学习库，提供 DQN、DDPG、A2C、模仿学习等算法实现，接口简洁，方便快速搭建和对比实验。
面向大模型后训练的强化学习框架，用混合编程模型把 RLHF 训练流程编排得灵活又高效，方便扩展和跑大规模实验。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。
….29.0 以支持 GKDTrainer Notes - OPD v1 为独立训练链路，不改动现有 PPO/GRPO 主流程 - 训练产物与 SFT/LoRA 一样可独立部署或合并后部署
…celerate.py RM（奖励模型）— training/reward modeling.py PPO（强化学习）— training/ppo training.py DPO（直接偏好优化）— training/dpo training.py ORPO（比值比偏好优化）— training/orpo training.py GRPO（
Breaking Changes: - Removed support for Python 3.9, please upgrade to Python = 3.10 - Set strict=True for every call to zip(...) - Switched to pygame-ce when installing e
…reworked documentation, new algorithm variants, support for google's new ML framework [JAX](https://github.com/google/jax), hyperparameter tuning utilities, and more. Cle
…comes with exciting new features. First, we now support JAX-based learning algorithms, which are usually faster than the torch equivalent! Here are the docs of the new JA
…tors @ElliotMunro200 and @Dipamc77. New CleanRL supported publications Huang, S., Dossa, R., Raffin, A., Kanervisto, A., & Wang, W. (2022). [The 37 Implementation Details