MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。
…project/mnn/3.6.2/) 📌 版本概述 MNN 3.6.2 聚焦 端侧异构推理性能与投机解码加速 。本版本以 Metal、Hexagon 和 DFlash 为重点，持续提升 Qwen3 / Qwen3.5 在 CPU、GPU 与 NPU 上的推理效率。 典型性能：Qwen3.5-2B 在 iPad Pro M5 的 GPU
…99 新增logprobs/prompt logprobs token解码开关 5463 新增请求级投机解码指标监控支持 5518 新增健康检查功能 5534 新增请求级延迟细粒度追踪(Tracing Part1) 5458 新增Entropy计算支持 5692 5730 新增输出缓存默认启用 5987 新增tag phase token
…解码控制开关 5463 受限解码新增 llguidance 后端 5124 CUDAGraph 支持投机解码 Draft Model 加速(默认关闭) [Speculative Decoding] 解耦 draft tokens 后处理流程 5205 支持 Pooling 模型 Runner 支持 Reward 模型 Pooling 模型
…raphs默认在Decode阶段开启 3594 - 使用统一内存池，降低显存开销 4230 - 支持投机解码 3769 4545 4617 4669 - 支持TP、DP、EP混合并行 4456 4589 - 支持 PD 分离式部署 4530 - 支持权重清理与动态加载下的重捕获 3781 3594 - 支持CustomAllReduce下
…a文件的加载 - 请求报错结果增加异常堆栈信息，完善异常log记录 - 新增混合MTP、Ngram的投机解码方法 - 支持用于投机解码的Tree Attention功能 - 模型加载功能增强，实现了使用迭代器加载模型权重，加载速度和内存占用进一步优化 - API-Server完善日志格式，增加时间信息 - 新增插件机制，允许用户在不修改F
…n)。 推理部署 全面支持DeepSeek V3/R1满血版FP8、INT8、4比特量化推理，MTP投机解码。 FP8推理，单机输出超1000 tokens/s；4比特单机部署，输出超2100 tokens/s！ 首次协同推理团队，发布统一推理部署镜像，热门模型一键部署。推理部署使用文档全面更新，体验全面提升！见[文档](https://