一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。

基于 Megatron 和 DeepSpeed 在 GPU 上训练大规模自回归 Transformer 的模型并行框架，用来复现和扩展 GPT-3 级别的语言模型。

中文版 CLIP 预训练模型，支持中文图文跨模态检索和表征生成，可直接用于图文匹配、零样本分类等任务。

统一可扩展的分布式机器学习库，支持大规模训练、模型服务和联邦学习，还能跨云调度任意 AI 任务到 GPU 云或本地集群。

基于 DGL 的高性能知识图谱嵌入学习库，支持在超大规模图谱上训练 TransE、RotatE 等嵌入模型，兼顾易用性与可扩展性。