从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。
用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
PyTorch 官方的生成式 AI 模型训练平台，提供原生分布式训练组件和可复用的并行策略，帮你在多卡集群上高效训练大模型。
给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。
NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
一站式大模型微调工具，支持 LoRA、QLoRA、全参等多种训练方式，用配置文件就能跑起各种开源模型的微调任务。
面向大模型训练的数据处理流水线，把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。
RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
重要更新 飞桨框架 3.4 版本围绕大模型训练的训练效率、算子正确性、稳定性以及国产硬件适配等关键领域持续迭代。本版本新增面向大规模分布式训练的高性能 Muon 优化器；持续打磨核心算子的数值精度，并针对大模型训练中高频出现的大 Shape Tensor、0-Size Tensor 场景做了系统性的正确性排查与修复，进一步夯实大模型训练的
重要更新 飞桨框架 3.3 版本在大模型训练效率、开发体验及国产硬件适配等关键领域持续突破创新，在计算显存高效利用、训推衔接转换、生态兼容性、调试效率、国产硬件适配等方面带来多项重要升级，全面提升大模型训推能力。 训练效率突破 FlashMaskV3升级 ：深度优化稀疏注意力掩码计算FlashMaskV3计算内核，性能全面超越FlexAt
…布式训练 - 增加llamafactory分布式示例 - 升级llama factory 支持多模态大模型训练 - 升级gpt5 - 支持vllm推理框架 - 丰富模型量化支持“gptq","awq","gguf","hf quantize” - 添加模型蒸馏任务模板 - 支持模型转换任务模板 - 增加opencompass模型评估 -
…布式训练 - 增加llamafactory分布式示例 - 升级llama factory 支持多模态大模型训练 - 升级gpt5 - 支持vllm推理框架 - 丰富模型量化支持“gptq","awq","gguf","hf quantize” - 添加模型蒸馏任务模板 - 支持模型转换任务模板 - 增加opencompass模型评估 -
…addlePaddle-3.2.0-Release-Note-EN) 重要更新 飞桨框架3.2版本在大模型训练推理性能、硬件适配、主流大模型及高性能加速库的支持上进一步提升。 - 大模型训练方面，飞桨框架在计算、并行策略、容错能力三方面进行了升级： - 从基础计算性能层面，提出了存算重叠的稀疏掩码注意力计算FlashMask V3，极致优
…ddle-3.1.1-Release-Note-EN) 重要更新 --- 飞桨框架3.1.1版本围绕大模型训练全流程进行了系统性强化，通过体系化修复大模型场景下算子数值精度和功能等底层稳定性问题，结合API的日志系统规范化与单元测试全覆盖，显著提升大模型训练的正确性和稳定性；性能层面，在提高部分关键框架API和FP8场景下的量化计算效率的