从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。

用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。

一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。

PyTorch 官方的生成式 AI 模型训练平台，提供原生分布式训练组件和可复用的并行策略，帮你在多卡集群上高效训练大模型。

给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。

NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。

一站式大模型微调工具，支持 LoRA、QLoRA、全参等多种训练方式，用配置文件就能跑起各种开源模型的微调任务。

面向大模型训练的数据处理流水线，把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。

RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

面向中文 NLP 的大模型实战代码库，覆盖数据准备、模型训练与推理全流程，含 BERT、ChatGLM、LLaMA 等示例，适合直接上手跑通中文大模型任务。

面向开发者的 AI 学习路线图，系统梳理大模型训练、推理、强化学习与 Agent 等核心方向的概念、主流技术和前沿趋势，帮助从理论走到落地。

面向 NVIDIA GPU 和昆仑 XPU 的大模型训练框架，覆盖 LLM、VLM、扩散模型和具身模型，支持 LoRA、预训练、SFT 与中期训练，开箱即用适配 DeepSeek、GLM、Kimi 等主流模型。

面向多模态大模型训练的数据集构建与评估平台，支持数据集的智能生成、管理与质量评估，帮助团队高效准备 VLM 训练数据。

统一序列并行注意力实现，把 Ulysses 和 Ring Attention 混合成 2D 并行，让长上下文 Transformer 训练和推理能扩展到超长序列。

开源云原生一站式机器学习与大模型平台，覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS，支持昇腾等国产异构算力调度。

整理大模型训练数据全流程的精选资源库，覆盖数据获取、去重、过滤、配比、合成与溯源，配套「LLM × DATA」综述论文。

汇集大语言模型自定义训练与推理的教程、最佳实践和可直接运行的代码，基于 HuggingFace 和 Transformers，帮开发者快速上手 BERT 等模型的微调与部署。

一本博客风格的短教材，讲怎么在 TPU 上扩展大模型训练与推理，用 roofline 分析帮你算清算力、显存和通信的瓶颈。