只需几行代码就能把 PyTorch 模型跑在任意设备或分布式配置上，自动处理混合精度（含 fp8）和 FSDP、DeepSpeed 配置，省去手写分布式训练样板代码的麻烦。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。
面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。
腾讯混元开源的大规模视频生成框架，基于扩散 Transformer 把文本提示直接生成连贯视频，适合做文生视频研究和应用落地。
LTX-Video 是 Lightricks 开源的视频生成模型，支持文生视频和图生视频，基于 DiT 扩散架构，可快速生成高质量短视频。
…r environmental GRPO on SGLang, rollouts on block-FP8 weights, GRPO training of GLM-5.3-Flash, adapter-only weight sync to SGLang for LoRA policies, striped gathered expe
- 新模型：Qwen3.6-27B、Qwen3.6-27B-FP8、Qwen3.6-35B-A3B、Qwen3.6-35B-A3B-FP8、DeepSeek-V4-Flash-Base（仅实验性）、DeepSeek-V4-Flash-FP8（仅实验性）。 - 选择模型时，所有“Qwen3 5”字样变更为“Qwen3.5“。 - 工具调用请
…机采样训练、Benchmark测试流程及文档 198 205 量化 - 支持HunyuanOCR模型FP8量化 164 166 - 支持Diffusion模型 sgl kernel 的 fp8-per-block 量化能力 169 - 支持Qwen2-Audio模型的FP8、INT8量化 191 Bug fix及其他 - 修复INT4-A
…lash attention wrapper - Removed legacy code from FP8CompatibleDiT; FlashAttentionVarlen already handles backend switching via its attention mode attribute - 🛡️ Fix grac
…能升级 量化 - 支持了 Hunyuan 0.5B/1.8B/4B/7B/A13B 模型的INT8、FP8、INT4等量化。 - 支持了 Qwen2.5/Qwen3/DeepSeek-R1-Distill-Qwen 等模型INT8、FP8、INT4等量化。 - 支持了 Qwen2.5VL 3B/7B/32B/72B 的FP8、INT4量化
…CFGSCALE=20 and IMAGE STEPS=20 Flux/flux1-schnell-fp8 - use IMAGE CFGSCALE=1 and IMAGE STEPS=4 Flux/flux1-dev-fp8 - use IMAGE CFGSCALE=1 and IMAGE STEPS=20 Full Changelog