面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
开源文生视频和图生视频模型，CogVideoX 支持从文本或图片生成视频，适合搭建视频生成推理服务。
开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。
SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎，支持文生图、文生视频和世界模型，用线性注意力和 NVFP4 量化在低显存下实现快速生成。
…efix Caching与Encoder Caching支持 4134 - 新增Wfp8Afp8在线量化推理支持 4051 4238 - 新增静态Cfp8量化推理支持 4568 - LogProb功能 - 支持EP并行下开启logprob 4151 - 支持MTP场景下开启logprob 4464 4467 - 新增 logprobs m
…om/PaddlePaddle/Paddle/pull/74837) - 推理部署增加了w4afp8量化推理，支持w4afp8量化权重纯排及all2all通信[ 74270](https://github.com/PaddlePaddle/Paddle/pull/74270) Bug修复 - 核心框架与基础设施优化。[ 74336](ht
…rk复现步骤，并开源了全部代码和数据。这将方便开发者和科研人员复现并对齐各数据集的结果。为了更准确地量化推理效果，我们采用了EM（Exact Match）、F1和LLM Accuracy等多项评估指标。在原有TwoWiki、Musique、HotpotQA等数据集的基础上，本次更新新增了OpenKG OneEval知识图谱类问答数据集（如
…rk复现步骤，并开源了全部代码和数据。这将方便开发者和科研人员复现并对齐各数据集的结果。为了更准确地量化推理效果，我们采用了EM（Exact Match）、F1和LLM Accuracy等多项评估指标。在原有TwoWiki、Musique、HotpotQA等数据集的基础上，本次更新新增了OpenKG OneEval知识图谱类问答数据集（如
…xtraction)。 推理部署 全面支持DeepSeek V3/R1满血版FP8、INT8、4比特量化推理，MTP投机解码。 FP8推理，单机输出超1000 tokens/s；4比特单机部署，输出超2100 tokens/s！ 首次协同推理团队，发布统一推理部署镜像，热门模型一键部署。推理部署使用文档全面更新，体验全面提升！见[文档](
… ( 259) - LangChain: 更新了示例中的超参设置 ( 271) - 修复了推理脚本中量化推理相关问题 ( 302) - 适配了FlashAttention对推理的优化，现在可以在推理时搭配FlashAttention进行加速。使用方法参考[wiki](https://github.com/ymcui/Chinese-LLa