用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。
用 PyTorch 逐行复现 60 多篇深度学习经典论文，代码旁配注释讲解，涵盖 Transformer、优化器、GAN、强化学习等，适合边读论文边对照实现学习。
单文件实现的深度强化学习算法集合，涵盖 PPO、DQN、SAC 等主流算法，代码简洁易读，适合做研究和快速实验。
基于 PyTorch 的深度强化学习库，提供 DQN、DDPG、A2C、模仿学习等算法实现，接口简洁，方便快速搭建和对比实验。
基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。
基于 PyTorch 的强化学习算法库，提供 PPO、SAC、TD3 等常用算法的可靠实现，开箱即用，适合机器人控制和仿真环境训练。
集音视频处理、图片编辑、文本操作与编码于一体的桌面工具箱，内置语音识别、OCR 等 AI 增强能力，并提供本地 MCP 服务来简化日常办公流程。
把 PaddlePaddle 训练好的模型导出成 ONNX 格式，方便用 ONNX Runtime 等推理引擎部署，覆盖分类、检测、OCR 等模型。
面向 LLM 与 Agent 场景的开源强化学习训练库，集成 GRPO、PPO、熵方法等算法，支持编码、GUI、多智能体等任务。
Java 免费离线 AI 算法工具箱，Maven 引入即可用人脸识别、活体检测、OCR、目标检测、语音识别合成和机器翻译，内置 YOLO、PaddleOCR、Whisper 等主流模型。
在单张消费级显卡上跑 PPO、GRPO 和同策略蒸馏的轻量 RL 训练框架，让普通玩家也能做 LLM 对齐后训练。
基于 tensorRT_Pro 扩展的 TensorRT C++ 推理库，集成 YOLO、RT-DETR、PPOCR、车道线检测、深度估计等多类视觉模型，提供高性能部署方案。
用 PPO 强化学习和 LoRA 低秩适配微调 LLaMA 模型，做 RLHF 对齐训练，显存占用低，适合在单卡上跑通大模型偏好优化流程。
….29.0 以支持 GKDTrainer Notes - OPD v1 为独立训练链路，不改动现有 PPO/GRPO 主流程 - 训练产物与 SFT/LoRA 一样可独立部署或合并后部署
…celerate.py RM（奖励模型）— training/reward modeling.py PPO（强化学习）— training/ppo training.py DPO（直接偏好优化）— training/dpo training.py ORPO（比值比偏好优化）— training/orpo training.py GRPO（
Breaking Changes: - Removed support for Python 3.9, please upgrade to Python = 3.10 - Set strict=True for every call to zip(...) - Switched to pygame-ce when installing e
…reworked documentation, new algorithm variants, support for google's new ML framework [JAX](https://github.com/google/jax), hyperparameter tuning utilities, and more. Cle
…comes with exciting new features. First, we now support JAX-based learning algorithms, which are usually faster than the torch equivalent! Here are the docs of the new JA
…tors @ElliotMunro200 and @Dipamc77. New CleanRL supported publications Huang, S., Dossa, R., Raffin, A., Kanervisto, A., & Wang, W. (2022). [The 37 Implementation Details