面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
只需几行代码就能把 PyTorch 模型跑在任意设备或分布式配置上，自动处理混合精度（含 fp8）和 FSDP、DeepSpeed 配置，省去手写分布式训练样板代码的麻烦。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具，支持 INT8/FP8/INT4 等低比特量化和稀疏化，帮大模型在低精度下保持精度并降低显存与推理成本。
用 torchao 和 diffusers 优化扩散模型的端到端教程，覆盖推理加速和 FP8 训练，帮你在 Flux 等文生图模型上省显存、提速度。
用 FP8/INT8 低精度做强化学习训练的 rollout 推理，在 vLLM 上跑出更快采样速度且不掉点，适合想压低 RL 训练推理成本的大模型团队。
在 NVIDIA GPU 上为 StartLux-Decision 模型提供快速精确推理，支持 int8 和 4-bit 量化的 GGUF 权重，延迟比 vLLM FP8 低至 5.3 倍且答案逐位一致。
…r environmental GRPO on SGLang, rollouts on block-FP8 weights, GRPO training of GLM-5.3-Flash, adapter-only weight sync to SGLang for LoRA policies, striped gathered expe
- 新模型：Qwen3.6-27B、Qwen3.6-27B-FP8、Qwen3.6-35B-A3B、Qwen3.6-35B-A3B-FP8、DeepSeek-V4-Flash-Base（仅实验性）、DeepSeek-V4-Flash-FP8（仅实验性）。 - 选择模型时，所有“Qwen3 5”字样变更为“Qwen3.5“。 - 工具调用请
…机采样训练、Benchmark测试流程及文档 198 205 量化 - 支持HunyuanOCR模型FP8量化 164 166 - 支持Diffusion模型 sgl kernel 的 fp8-per-block 量化能力 169 - 支持Qwen2-Audio模型的FP8、INT8量化 191 Bug fix及其他 - 修复INT4-A
…lash attention wrapper - Removed legacy code from FP8CompatibleDiT; FlashAttentionVarlen already handles backend switching via its attention mode attribute - 🛡️ Fix grac
…能升级 量化 - 支持了 Hunyuan 0.5B/1.8B/4B/7B/A13B 模型的INT8、FP8、INT4等量化。 - 支持了 Qwen2.5/Qwen3/DeepSeek-R1-Distill-Qwen 等模型INT8、FP8、INT4等量化。 - 支持了 Qwen2.5VL 3B/7B/32B/72B 的FP8、INT4量化
…CFGSCALE=20 and IMAGE STEPS=20 Flux/flux1-schnell-fp8 - use IMAGE CFGSCALE=1 and IMAGE STEPS=4 Flux/flux1-dev-fp8 - use IMAGE CFGSCALE=1 and IMAGE STEPS=20 Full Changelog