FastDeploy

核心推理能力与模型支持增强

• 支持文本 prompt_logprob 及全量 logprob 能力 #4769
• 支持离线推理中基于 ZMQ 的 logprobs / prompt_logprobs，并引入 max_logprobs 参数 #4897
• 支持在线推理中基于 ZMQ 的 logprobs / prompt_logprobs，并优化通信方式 #5089
• 新增 logprobs / prompt_logprobs 的 token_id 解码控制开关 #5463
• 受限解码新增 llguidance 后端 #5124
• CUDAGraph 支持投机解码 Draft Model 加速(默认关闭)
• [Speculative Decoding] 解耦 draft_tokens 后处理流程 #5205
• 支持 Pooling 模型 Runner
• 支持 Reward 模型
• Pooling 模型通用 embedding 接口 #4344
• Pooling 模型定制 reward 接口 #4518
• 新增开源模型 Ernie-4.5-VL-28B-A3B-Thinking 的 reasoning_parser，兼容 - / _ 命名规则 #4571 #4668
• 支持通过 chat_template_kwargs.options.thinking_mode 控制思考开关
• 支持多模模型传入 prompt_token_ids 请求，并通过 messages 输入多模数据，实现 tokens-in / tokens-out 能力

并行架构、调度与 MoE 能力演进

• GLM / Qwen 模型消除 EP 空跑时的通信开销 #5254
• 支持 MoE 分 chunk 执行 #4575
• 支持 EPLB（Expert Load Balancing）#4782
• 支持 EPLB 重排与冗余专家策略 #5142 #5143 #5178 #5239 #5918
• 支持路由重放机制
• PD 分离支持 Deepseek V3 模型 EP 并行部署 #5251
• PD 分离支持 Qwen3-MoE 模型 EP 并行部署 #4691
• PD 分离支持 Prefill 与 Decode 使用不同 TP Size #5296
• 新增 Python 版本 Router，支持集中式与分离式部署调度 #4709
• 支持多步 MTP + CUDAGraph + PD 分离
• 支持 MTP 无损验证
• 支持 MTP 分 chunk #5343

多模态、缓存与量化能力增强

• 支持多模单 batch、纯文本多 batch 混合 Prefill 调度 #4611
• 支持多模 Prefix Cache #4803
• 动态量化支持 Prefix Cache #5125
• 修复并支持多模 Prefix Cache 与 CUDAGraph 同时开启 #4679
• 支持 W4AFP8 动态量化 #5282
• 支持静态 C8 scale 单独加载 #4624
• 完善 Machete 对不同量化 group size 的支持 #4911
• 支持 Flash Mask Attention Backend 接入 #5104 #5134 #5387
• v1 Loader 加载性能优化 #4532
• 支持预编译包功能 #4729

多硬件平台支持扩展

P800

• 支持多模 Prefix Cache #5356
• 支持 PD 分离 #5179
• 支持思考模型思考强度限制 #4761
• 支持 TP + EP 并行 #4688 #4836

Intel HPU

• 新增 Prefix Caching 支持 #4971
• 新增 Chunked Prefill 支持 #5289

Iluvatar GPU

• 支持 ERNIE-4.5-21B-A3B 与 ERNIE-4.5-VL-28B-A3B-Thinking #4774 #4995
• 修复多项 CI 问题 #4972 #5012 #5100

MetaX

• 支持 ERNIE-4.5-VL-28B #4820
• 新增 Cutlass MoE #4602 #4685 #5128
• 支持 default_v1 loader #4956 #5001
• 优化 Flash MLA 性能 #4915
• 新增 Triton MoE 的 default_v1 loader 与 quant_config #5030
• 支持 ENABLE_V1_KVCACHE_SCHEDULER #5163

性能优化、可观测性与稳定性修复

性能与通信优化

• AppendAttn 算子支持 CUDA-PDL #5072
• DeepGemm H2D 消除 #5262
• 优化集中式 EP 通信逻辑 #5145
• 移除 CUDA Graph 下 Append Attention 的 DtoH 同步开销
• 支持两阶段低时延通信 #4162
• 支持 TP + EP 混合并行 #4615 #5315 #5353
• 默认编译 RDMA，降低多模 CUDAGraph 开销

可观测性与安全

• 支持基于请求级别的细粒度链路追踪 #5458
• 添加 trace_id / span_id 自动注入与开关 #4692 #5765
• 新增 --api-key 权限校验参数 #4806

稳定性与 Bug 修复

• 修复 logprob / prompt_logprob 计算、序列化及通信相关问题 #4681 #4884 #5237 #5335
• 修复 EP、PD 分离、MTP、Prefix Cache、量化、多模态等多类推理场景下的稳定性问题
• 修复多硬件（XPU / MetaX / Luvatar / P800）算子与参数校验问题

What's Changed

• [BugFix] fix total_block_num init error in worker_process by @RichardWooSJTU in https://github.com/PaddlePaddle/FastDeploy/pull/4553
• [BugFix] Fix graph opt test case by @gongshaotian in https://github.com/PaddlePaddle/FastDeploy/pull/4634
• [Feature] add mm token usage by @ApplEOFDiscord in https://github.com/PaddlePaddle/FastDeploy/pull/4570
• [XPU] Update the return value of TextImageGatherScatter by @ddchenhao66 in https://github.com/PaddlePaddle/FastDeploy/pull/4636
• [Docs] Add PaddleOCR-VL-0.9B best practices by @ming1753 in https://github.com/PaddlePaddle/FastDeploy/pull/4658
• [XPU] fix pos_emb_type bug by @cqulilujia in https://github.com/PaddlePaddle/FastDeploy/pull/4638
• [Docs] add Qwen25vl yaml by @xjkmfa in https://github.com/PaddlePaddle/FastDeploy/pull/4662
• [Feature] add a new reasoning parser by @kxz2002 in https://github.com/PaddlePaddle/FastDeploy/pull/4571
• [XPU] [CI] Increase pytest timeout for XPU ep test by @plusNew001 in https://github.com/PaddlePaddle/FastDeploy/pull/4665
• add noaux_tc to unitest fused_moe by @zhoutianzi666 in https://github.com/PaddlePaddle/FastDeploy/pull/4656
• [EP] fix several bugs in data parallel by @ltd0924 in https://github.com/PaddlePaddle/FastDeploy/pull/4657
• [OP] Add InferShape&InferDtype for `per_token

新增功能

• 新增GLM 4.5文本类模型部署支持 #3928
• 新增GPT-OSS-BF16文本类模型部署支持 #4240
• 新增ERNIE-4.5-VL-28B-A3B-Thinking多模态思考模型部署支持，详见文档
• 新增PaddleOCR-VL多模态模型部署支持 #4936
• 多模态模型和思考模型增加受限解码StructredOutput支持 #2749
• 多模态模型增加Prefix Caching与Encoder Caching支持 #4134
• 新增Wfp8Afp8在线量化推理支持 #4051 #4238
• 新增静态Cfp8量化推理支持 #4568
• LogProb功能
  • 支持EP并行下开启logprob #4151
  • 支持MTP场景下开启logprob #4464 #4467
  • 新增logprobs_mode参数指定返回结果的类型 #4567
• HuggingFace Safetensors模型升级为默认能力
  • Qwen2.5-VL系列支持 #3921
  • ERNIE-4.5-VL系列模型支持 #4042
  • 新增EP并行与Cache量化场景下支持 #3801
  • 新增动态量化缓存机制，二次加载可使用缓存进行加载 #3857
• Nvidia GPU下CUDA Graphs功能的完善
  • CUDA Graphs默认在Decode阶段开启 #3594
  • 使用统一内存池，降低显存开销 #4230
  • 支持投机解码 #3769 #4545 #4617 #4669
  • 支持TP、DP、EP混合并行 #4456 #4589
  • 支持 PD 分离式部署 #4530
  • 支持权重清理与动态加载下的重捕获 #3781 #3594
  • 支持CustomAllReduce下开启CUDA Graphs重捕获 #4305
  • 增加ERNIE-4.5-VL-MOE模型的支持 #3226
• 新增终端命令行CLI工具集
  • chat：执行对话生成任务 #4037
  • complete：执行文本补全任务 #4037
  • serve：启动与OpenAI协议兼容的推理服务 #4226
  • bench：对推理服务进行性能（延迟、吞吐）或精度评测
    • bench serve \ bench latency 精度评测工具 #4160 #4239
    • bench throughtput \ bench eval 性能评测工具 #4239
  • collect-env：收集并打印系统、GPU、依赖等运行环境信息 #4044 #4558 #4159
  • run-batch：批量执行推理任务，支持文件/URL输入输出 # 4237
  • tokenizer：执行文本与 token 的编码、解码及词表导出 #4278
• 新增engine-worker-queue-port与cache-queue-port的匿名端口支持 #4597
• 新增```LogitsProcessors````后处理参数支持 #4515
• 新增ERNIE-45-VL-Thinking模型的ReasoningParser与ToolParser #4571
• usage字段返回新增多模态输入与输出Token、思考Token的统计 #4648 #4520
• 新增n参数支持单请求返回多个生成结果 #4273
• 离线推理chat接口新增tool参数支持工具调用 #4415
• 多模态数据预处理增加对url数据的下载增加重试 #3838

性能优化

• 优化per_token_quant_fp8算子性能，提升50% #4238
• MTP支持Chunked Prefill与V1 KVCache调度 #3659 #4366
• V1 KVCache调度增加对上下文缓存的支持，并作为默认配置 #3807 #3814
• 优化MLA kernel性能，支持auto chunk + graph下的高性能MLA kernel #3886
• 优化Qwen-VL中ViT模块的CPU同步耗时 #4442
• Machete GEMM支持WINT4/WINT8以及group scale，并作为默认dense GEMM后端，优化模型性能与精度 #4451 #4295 #4121 #3999 #3905
• 优化append attention前处理算子性能 #4443 #4369 #4367
• 思考长度裁剪功能自定义算子化，实现更鲁棒更规范 #4279 #4736
• INTEL HPU优化多卡场景下sampling #4445
• 新增MergedReplicatedLinear方法，支持DeepSeek，qkv_a_proj融合 #3673
• 优化DeepEP buffer显存；支持EP场景下DeepEP buffer的creat/delete功能 #4039
• 优化集中式EP场景下DeepEP clear buffer带来的降速 #4039
• spec decode适配qk norm #3637
• 优化MLA Kernel性能，支持auto chunk + CUDA Graphs #3886
• 解决KV Cache容量分配偏小问题 #4355
• Engine与Worker跨进程通信支持零拷贝方式传输多模态张量数据 #4531
• APIServer支持gunicore+uvicorn优化前处理耗时 #4496 #4364

多硬件

• 昆仑芯P800
  • 新增ERNIE-4.5-VL系列模型的支持 #4030
  • 新增PaddleOCR-VL 0.9B模型的支持 #4529
  • BlockAttention算子支持neos版本rope #4723
  • 新增W4A8精度支持 #4068
  • 适配V1 KVCache调度 #4573
• 沐曦C550
  • 优化Attention、MoE、RotaryEmbedding算子实现 #3688
  • 新增DeepSeek-R1、DeepSeek-V3.1-BF16部署支持 #4498
• 天数CoreX
  • 新增ERNIE-4.5-VL-28B-A3B部署支持 #4313
  • ERNIE-4.5-300B-A47B推理性能优化 #3651
  • 修复rebuild_padding错误问题 #4504

文档

• 新增终端命令行工具CLI命令使用说明 #4569
• 新增优雅退出方案 #3785
• 更新模型支持文档 #4754
• 新增2Bit量化方式和最佳实践 #3819 #3968
• 新增DP并行部署文档 #3883
• 新增昆仑芯ERNIE-4.5-VL模型部署文档 #4586
• 新增XPU PaddleOCR-VL模型部署文档 #4792
• 更新模型最佳实践文档 #3969
• 新增ERNIE-4.5-21B-A3B-Thinking最佳实践文档 #3994
• 更新metrics指标说明文档 #4061
• 更新接口参数文档，增加completion_tokens、rompt_tokens、tool_calls说明 #4421

Bug修复

• 修复DP并行场景下Prefix Caching无法部署问题 #4359 #4370
• 修复集中式EP并行部署下长输入KVCache调度Hang住问题 #4275
• 修复开启CUDA Graphs时noaux_tc算子报错CUDA 700问题 #4174
• 修复V1 Loader下TritonMoEBlockWiseFP8权重shape错误 #4384
• 修复EP场景下MoE前处理问题，增加num_experts_per_rank合法值 #4102
• 修复CustomAllReduce输出不稳定问题 #4437
• 修复昆仑芯下思考长度限制，只有思考无回复内容问题 #4539 #4760
• 修复推理异常退出场景下KVCache管理进程残留问题 #4410
• 修复部分场景默认开启ChunkedPrefill报错问题 #3759
• 修复调度方法导致DeepSeek模型CudaError问题 #4757
• 修复XPU多模下默认开启上下文缓存bug #4694
• 修复MTP与C8场景下模型加载问题 #4077
• 修复MLA默认开启TensorCore的bug #4354
• 修复APIServer连接重复初始化的问题 #3901
• 修复MultiAPIServer日志地址混乱问题 #3967

新增功能

• 新增在线权重更新支持开启Prefix Caching
• 新增GLM 4.5 Air模型部署支持

What's Changed

• [docs] update best practice docs for release/2.2 by @zoooo0820 in https://github.com/PaddlePaddle/FastDeploy/pull/3970
• [Docs] release 2.2.0 by @ming1753 in https://github.com/PaddlePaddle/FastDeploy/pull/3991
• [docs] update readme by @yangjianfengo1 in https://github.com/PaddlePaddle/FastDeploy/pull/3996
• [Optimize]Error messages about Model api. by @AuferGachet in https://github.com/PaddlePaddle/FastDeploy/pull/3972
• [Cherry-Pick] get org_vocab_size from args by @zeroRains in https://github.com/PaddlePaddle/FastDeploy/pull/3984
• 【FIX】Change the name of sparse attn from moba to plas by @yangjianfengo1 in https://github.com/PaddlePaddle/FastDeploy/pull/4006
• Fix down projection weight shape in fused MOE layer by @yuanlehome in https://github.com/PaddlePaddle/FastDeploy/pull/4041
• [Fix] fix multi api server log dir by @ltd0924 in https://github.com/PaddlePaddle/FastDeploy/pull/3966
• Fixed the issue of metrics file conflicts between multiple instances … by @zhuangzhuang12 in https://github.com/PaddlePaddle/FastDeploy/pull/4010
• [Feature] Support mixed deployment with yiyan adapter in release22 by @rainyfly in https://github.com/PaddlePaddle/FastDeploy/pull/3974
• [CI] update paddlepaddle==3.2.0 in release/2.2 by @EmmonsCurse in https://github.com/PaddlePaddle/FastDeploy/pull/3997
• [setup optimize]Support git submodule (#4033) by @YuanRisheng in https://github.com/PaddlePaddle/FastDeploy/pull/4080
• [CP]Glm45 air 2.2 by @ckl117 in https://github.com/PaddlePaddle/FastDeploy/pull/4073
• [feat] support prefix cache clearing when /clear_load_weight is called by @liyonghua0910 in https://github.com/PaddlePaddle/FastDeploy/pull/4091
• [BugFix]fix tp/ep group gid by @gzy19990617 in https://github.com/PaddlePaddle/FastDeploy/pull/4038
• Support limit thinking lengths. by @K11OntheBoat in https://github.com/PaddlePaddle/FastDeploy/pull/4070
• Add assertion for ENABLE_V1_KVCACHE_SCHEDULER by @Jiang-Jia-Jun in https://github.com/PaddlePaddle/FastDeploy/pull/4146
• [fix] fix ep group all-reduce by @liyonghua0910 in https://github.com/PaddlePaddle/FastDeploy/pull/4140
• [Cherry-pick] fix MTP load with v1 loader by @zoooo0820 in https://github.com/PaddlePaddle/FastDeploy/pull/4153
• [CP2.2] Machete support group scale & wint8 & v1 loader by @Sunny-bot1 in https://github.com/PaddlePaddle/FastDeploy/pull/4166
• [Feature] support rdma IB transfer by @ltd0924 in https://github.com/PaddlePaddle/FastDeploy/pull/4123
• [BugFix]2.2 glm all reduce tp group by @ckl117 in https://github.com/PaddlePaddle/FastDeploy/pull/4188
• [Executor] Adjust signal sending order in RL training (#3773) (#4066) by @gongshaotian in https://github.com/PaddlePaddle/FastDeploy/pull/4178
• [fix] initialize available_gpu_block_num with max_gpu_block_num by @liyonghua0910 in https://github.com/PaddlePaddle/FastDeploy/pull/4193
• [fix]Modify follow-up push parameters and Modify the verification method for thinking length by @luukunn in https://github.com/PaddlePaddle/FastDeploy/pull/4177
• Fix noaux_tc cuda Error 700 in CUDAGraph and Add wfp8apf8 moe quant method by @ckl117 in https://github.com/PaddlePaddle/FastDeploy/pull/4115
• [Feature]CP support data clear by @ltd0924 in https://github.com/PaddlePaddle/FastDeploy/pull/4214
• [fix] fix clearing caches synchronization and add more logs by @liyonghua0910 in https://github.com/PaddlePaddle/FastDeploy/pull/4212
• fix ernie vl distributed attr. by @ZHUI in https://github.com/PaddlePaddle/FastDeploy/pull/4217
• [2.2]include_stop_str_in_output=False not return eos text by @ckl117 in https://github.com/PaddlePaddle/FastDeploy/pull/4231
• [fix]update apply_chat_template by @luukunn in https://github.com/PaddlePaddle/FastDeploy/pull/4249
• [fix]remove reasoning_max_tokens=max_toksns*0.8 in sampling_params by @luukunn in https://github.com/PaddlePaddle/FastDeploy/pull/4294
• 【fix】Remove the logic that ass

新增功能

• 采样策略中的bad_words支持传入token ids
• 新增Qwen2.5-VL系列模型支持(视频请求不支持enable-chunked-prefill)
• API-Server completions接口prompt 字段支持传入token id列表，同时支持批量推理
• 新增function call解析功能，支持通过tool-call-parse解析function call结果
• 支持服务启动或请求中自定义chat_template
• 支持模型chat_template.jinja文件的加载
• 请求报错结果增加异常堆栈信息，完善异常log记录
• 新增混合MTP、Ngram的投机解码方法
• 支持用于投机解码的Tree Attention功能
• 模型加载功能增强，实现了使用迭代器加载模型权重，加载速度和内存占用进一步优化
• API-Server完善日志格式，增加时间信息
• 新增插件机制，允许用户在不修改FastDeploy核心代码的前提下扩展自定义功能
• 支持Marlin kernel文件在编译阶段按照模版配置自动生成
• 支持加载 HuggingFace原生Safetensors格式的文心、Qwen系列模型
• 完善DP+TP+EP混合并行推理

性能优化

• 新增W4Afp8 MoE Group GEMM算子
• CUDA Graph增加对超32K长文的支持
• 优化moe_topk_select算子性能，提升MoE模型性能
• 新增Machete WINT4 GEMM算子，优化WINT4 GEMM性能，通过FD_USE_MACHETE=1开启
• Chunked prefill 默认开启
• V1 KVCache调度策略与上下文缓存默认开启
• MTP支持更多草稿token推理，提升多步接受率
• 新增可插拔轻量化稀疏注意力加速长文推理
• 针对Decode支持自适应双阶段的All-to-All通信，提升通信速度
• 支持DeepSeek系列模型MLA Bankend encoder阶段启用Flash-Attrntion-V3
• 支持DeepSeek系列模型q_a_proj & kv_a_proj_with_mqa linear横向融合
• API-Server新增zmq dealer 模式通信管理模块，支持连接复用进一步扩展服务可支持的最大并发数

Bug修复

• completion接口echo回显支持
• 修复 V1调度下上下文缓存的管理 bug
• 修复 Qwen 模型固定 top_p=0 两次输出不一致的问题
• 修复 uvicorn 多worker启动、运行中随机挂掉问题
• 修复 API-Server completions接口中多个 prompt 的 logprobs 聚合方式
• 修复 MTP 的采样问题
• 修复PD 分离cache 传输信号错误
• 修复异常抛出流量控制信号释放问题
• 修复max_tokens为0 异常抛出失败问题
• 修复EP + DP 混合模式下离线推理退出hang问题

文档

• 更新了最佳实践文档中一些技术的用法和冲突关系
• 新增多机张量并行部署文档
• 新增数据并行部署文档

其它

• CI新增对自定义算子的Approve拦截
• Config整理及规范化

What's Changed

• Describe PR diff coverage using JSON file by @XieYunshen in https://github.com/PaddlePaddle/FastDeploy/pull/3114
• [CI] add xpu ci case by @plusNew001 in https://github.com/PaddlePaddle/FastDeploy/pull/3111
• disable test_cuda_graph.py by @XieYunshen in https://github.com/PaddlePaddle/FastDeploy/pull/3124
• [CE] Add base test class for web server testing by @DDDivano in https://github.com/PaddlePaddle/FastDeploy/pull/3120
• [OPs] MoE Preprocess OPs Support 160 Experts by @ckl117 in https://github.com/PaddlePaddle/FastDeploy/pull/3121
• [Docs] Optimal Deployment by @ming1753 in https://github.com/PaddlePaddle/FastDeploy/pull/2768
• fix stop seq unittest by @zoooo0820 in https://github.com/PaddlePaddle/FastDeploy/pull/3126
• [XPU]Fix out-of-memory issue during single-XPU deployment by @iosmers in https://github.com/PaddlePaddle/FastDeploy/pull/3133
• [Code Simplification] Refactor Post-processing in VL Model Forward Method by @DrRyanHuang in https://github.com/PaddlePaddle/FastDeploy/pull/2937
• add case by @DDDivano in https://github.com/PaddlePaddle/FastDeploy/pull/3150
• fix ci by @XieYunshen in https://github.com/PaddlePaddle/FastDeploy/pull/3141
• Fa3 支持集中式 by @yangjianfengo1 in https://github.com/PaddlePaddle/FastDeploy/pull/3112
• Add CI cases by @ZhangYulongg in https://github.com/PaddlePaddle/FastDeploy/pull/3155
• [XPU]Updata XPU dockerfiles by @plusNew001 in https://github.com/PaddlePaddle/FastDeploy/pull/3144
• [Feature] remove dependency on enable_mm and refine multimodal's code by @ApplEOFDiscord in https://github.com/PaddlePaddle/FastDeploy/pull/3014
• 【Inference Optimize】Support automatic generation of marlin kernel by @chang-wenbin in https://github.com/PaddlePaddle/FastDeploy/pull/3149
• Update init.py by @DDDivano in https://github.com/PaddlePaddle/FastDeploy/pull/3163
• fix load_pre_sharded_checkpoint by @bukejiyu in https://github.com/PaddlePaddle/FastDeploy/pull/3152
• 【Feature】add fd plugins && rm model_classes by @gzy19990617 in https://github.com/PaddlePaddle/FastDeploy/pull/3123
• [Bug Fix] fix pd disaggregated kv cache signal by @ltd0924 in https://github.com/PaddlePaddle/FastDeploy/pull/3172
• Update test_base_chat.py by @DDDivano in https://github.com/PaddlePaddle/FastDeploy/pull/3183
• Fix approve shell scripts by @YuanRisheng in https://github.com/PaddlePaddle/FastDeploy/pull/3108
• [Bug Fix] fix the bug in test_sampler by @zeroRains in https://github.com/PaddlePaddle/FastDeploy/pull/3157