面向全模态模型的高效推理框架,支持图像、视频、音频生成与多模态模型服务,基于 PyTorch 提供统一的推理与部署能力。
…-- ✨ 新功能 LLM / VLM Gemma4 模型支持 :新增 Gemma4 文本、视觉、音频全模态推理 dflash 推测解码 :新增 dflash 推测解码方案 Omni Thinker/Talker 交错生成 :Omni 模型 Thinker 与 Talker 交错执行,TTFA 降低 2.7× fp16 Scale/Zero