NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。

基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

基于 Megatron 和 DeepSpeed 在 GPU 上训练大规模自回归 Transformer 的模型并行框架，用来复现和扩展 GPT-3 级别的语言模型。

一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。

PyTorch 官方的生成式 AI 模型训练平台，提供原生分布式训练组件和可复用的并行策略，帮你在多卡集群上高效训练大模型。

Halo 是 White Circle 开源的大模型与多模态模型训练框架，支持分布式训练、LoRA 微调、MoE 和异步强化学习，方便搭建和扩展训练流程。

纯前端的多模型并行对话与文生图工具，填上 API Key 就能同时对比 ChatGPT、Claude 等模型的回答并生成图片，无需自建服务端。

把影视生成的场景依赖建成 DAG，用关键路径法调度多模型并行出片，让原本逐个生成的镜头同时跑，缩短整片制作时间。