面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。

统一的 PyTorch 训练框架，让同一份代码在单卡到上万张 GPU 上都能跑，免去改代码就能做预训练和微调。

开源的大规模视频生成模型，支持高质量文生视频，为 AIGC 视频创作提供可用的生成能力。

把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU，写起来像 NumPy，跑起来像高性能计算。

NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。

提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。

只需几行代码就能把 PyTorch 模型跑在任意设备或分布式配置上，自动处理混合精度（含 fp8）和 FSDP、DeepSpeed 配置，省去手写分布式训练样板代码的麻烦。

基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。

腾讯混元开源的大规模视频生成框架，基于扩散 Transformer 把文本提示直接生成连贯视频，适合做文生视频研究和应用落地。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

用 ChatGPT 同款流程训练医疗大模型，覆盖增量预训练、有监督微调、RLHF、DPO、ORPO、GRPO 全链路，开箱即可复现。

云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。

像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率，还能导出指标接入 Grafana 做监控面板。

NVIDIA 官方多 GPU 集合通信库，提供 all-reduce、broadcast 等优化通信原语，是分布式深度学习训练中跨卡数据同步的底层依赖。

GPU 加速的数据预处理库，提供高度优化的图像、音频处理算子和执行引擎，解决深度学习训练中数据管道拖慢 GPU 的瓶颈。

集成 Waifu2x、Real-ESRGAN、Real-CUGAN 等多种超分模型与 RIFE 等补帧算法的图形界面工具，可批量放大视频、图片和 GIF 并提升帧率。

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

无需写代码就能微调大语言模型的可视化界面，从数据准备到训练评估一站式完成，适合不想碰命令行直接调模型的团队。

用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。

无需训练即可修改语言模型行为，通过消融技术去除审查、抑制废话、减少谄媚，让模型输出更直接可控。

面向语音 AI 的可扩展生成式框架，覆盖语音识别、语音合成、说话人分离与语音翻译，方便研究和开发人员训练部署语音模型。

SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎，支持文生图、文生视频和世界模型，用线性注意力和 NVFP4 量化在低显存下实现快速生成。

分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。

开源视频生成模型，用高效架构和训练方案降低高质量视频制作门槛，让普通开发者也能训练和部署文生视频模型。

基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。

用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。

通义开源深度研究智能体，能自主规划多步检索、浏览网页并整合信息，产出带引用的研究报告，适合做调研问答和资料汇总。

一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

医学影像分割的深度学习工具箱，开箱即用，能自动配置训练流程，在 CT、MRI 等 3D 数据上达到竞赛级精度。

基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。

PyTorch 官方的生成式 AI 模型训练平台，提供原生分布式训练组件和可复用的并行策略，帮你在多卡集群上高效训练大模型。

基于下一尺度预测的自回归视觉生成模型，用GPT式架构做图像生成并击败扩散模型，代码简洁易用，附带缩放定律研究。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。