基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。

在 PaLM 架构上实现 RLHF 人类反馈强化学习，复现 ChatGPT 式训练流程，适合研究大模型对齐与强化学习微调。

基于安全强化学习的人类反馈对齐框架，通过约束优化让大模型在有用性和安全性之间取得平衡，附带 Beaver 系列模型与数据集。

一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。

面向大模型后训练的强化学习框架，用混合编程模型把 RLHF 训练流程编排得灵活又高效，方便扩展和跑大规模实验。

用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。

一套开箱即用的 2D/3D 人脸分析算法库，集成 ArcFace、RetinaFace 等模型，覆盖人脸检测、对齐、识别和年龄估计，支持 PyTorch、MXNet 等多后端。

基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

基于 Whisper 的语音识别工具，能给出词级时间戳并支持说话人分离，适合做字幕对齐和会议转写。

提供一套稳健的训练配方，用人类和 AI 偏好数据对齐语言模型，涵盖 SFT、DPO 等流程，帮你把基座模型调成听话好用的助手。

用 ChatGPT 同款流程训练医疗大模型，覆盖增量预训练、有监督微调、RLHF、DPO、ORPO、GRPO 全链路，开箱即可复现。

覆盖小学到高中数学、三年级到高中英语及初中物理的 K12 知识图谱，含 1644 个知识点、2403 条先修边和 6723 道题，对齐课标并支持自适应前置诊断。

一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。

基于 Llama3 的中文后训练模型与配套工具，提供中文微调权重、训练脚本和部署方案，让开发者能直接跑起中文对话模型。

统一视频生成推理与后训练框架，支持扩散模型加速、蒸馏和微调，帮你在有限算力下更快跑出视频。

中文 LLaMA-2 与 Alpaca-2 大模型二期项目，提供支持 64K 超长上下文的中文预训练和指令微调模型，可直接用于长文本理解与对话。

为 AI 智能体提供 817 个结构化网络安全技能，覆盖 29 个安全领域并对齐 MITRE ATT&CK、NIST CSF 2.0 等六大框架，让 Claude Code、Copilot 等编码助手直接具备攻防与应急响应能力。

面向 AI 研究者的开源实验环境，可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。

开源文档解析模型，用强化自迭代（RSI）循环做后训练，在准确率和速度上达到 SOTA，适合给 LLM 和 Agent 做 OCR 与文档理解。

把 AI 生成的像素画自动对齐到规整网格，修掉边缘错位和大小不一的像素块，让杂乱的像素图变得干净可用。

面向 AI 工程师和领域专家的数据标注协作平台，支持主动学习和人机协同，帮助团队高效构建高质量训练数据集。

用 Python 评估里程计和 SLAM 轨迹精度，支持 EuRoC、KITTI 等数据集，输出 ATE、RPE 等指标并可视化对比。

用 PyTorch 从零手写实现 65 道大厂 ML/AI 面试真题，配 Jupyter Notebook、自动评分器和 MCP AI 导师，适合系统刷题备战机器学习面试。

用 Stable Diffusion 做音频驱动唇形同步，让视频或虚拟人像的口型与语音对齐，适合做数字人和视频配音。

用 Python/C 实现的强制对齐工具，能把音频和对应文本自动对齐到词或音素级别，适合做语音数据集标注和字幕时间轴生成。

提供可插拔的 Python 和 C++ 多目标跟踪模块，集成 BoT-SORT、ByteTrack、OC-SORT 等 SOTA 算法，支持轴对齐与旋转框跟踪。

ImageReward 是 NeurIPS 2023 提出的文本生图人类偏好奖励模型，用人类偏好数据训练打分器，评估生成图像质量并支持 RLHF 微调扩散模型。

面向扩散模型和全模态模型的多模态强化学习训练框架，支持 GRPO、流匹配和 vLLM 推理，用来做图像生成与多模态模型的 RLHF 训练。

用字幕文件自动翻译视频文本，再通过 AI 语音合成生成配音音轨，并按字幕时间轴对齐口型，省去手动配音和打轴的麻烦。

Phantom 是一个文本到视频生成模型，通过跨模态对齐保持主体一致性，让生成视频中的角色或物体在不同镜头间保持统一外观。

Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。

快速且鲁棒的点云配准 C++ 库，支持 3D 重建、SLAM 和机器人场景下的点云对齐，能在大量外点下稳定求解配准。

把一段脚本自动变成带旁白的 MP4 讲解视频：本地 Kokoro 语音合成、Whisper 词级时间对齐，再用 Canvas 渲染动画，适合做产品演示。

基于 Whisper 的多语言语音识别工具，能输出词级时间戳和置信度，方便做字幕对齐和逐词定位。

提供模糊字符串匹配、分组和评估的 Python 库，支持编辑距离、TF-IDF 和 BERT 嵌入等多种相似度算法，适合做实体对齐和文本去重。

基于 ggml 的 C++ 语音推理运行时，统一跑 Cohere Transcribe、Parakeet TDT、Voxtral、Canary 等多语言 ASR 与 TTS 模型，还带通用强制对齐。

面向开发者的 AI 学习路线图，系统梳理大模型训练、推理、强化学习与 Agent 等核心方向的概念、主流技术和前沿趋势，帮助从理论走到落地。

围绕预训练权重做黑盒优化与神经进化，用 LoRA 集成多个任务专家，提升大模型后训练与推理表现。

实时鲁棒的激光雷达-惯性测量单元初始化方法，为 LiDAR-惯性 SLAM 系统提供高精度外参标定与初始状态估计，解决启动阶段对齐不准的问题。

基于 ONNX/YOLOv8 和 DirectML 的通用 AI 瞄准辅助工具，为行动不便的玩家提供视觉对齐能力，用 C# 实现。