MiniCPM-V 是面壁智能开源的多模态视觉语言模型,能在手机、PC 等本地设备上完成看图、听音和对话交互,无需依赖云端。
面向本地部署的高速大模型推理引擎,通过稀疏激活与量化等技术,让消费级显卡也能流畅跑起 Llama 类模型。
CodeGeeX2 是多语言代码生成预训练模型,支持多种编程语言的代码补全与生成,可作为编码助手的底层模型。
LMDeploy 是面向大模型的高效推理与服务工具包,支持模型压缩、部署和在线服务,内置 TurboMind 推理引擎和 CUDA 算子,可加速 Llama、InternLM 等模型的推理。
…8、FP8、INT4等量化。 - 支持了 Qwen2.5VL 3B/7B/32B/72B 的FP8、INT4量化。 - 支持了 DeepSeek-R1/V3 和 Kimi-K2 模型的 FP8-Static 、 W4A8-FP8 量化 - 支持量化敏感度分析工具,可对权重和激活同时进行量化敏感度分析。 投机采样 - 开源 Qwen3 系列
…986 , 8995 ),拓宽应用场景。 - 实现Qwen2 Moe多GPU推理( 9121 )及wint4量化( 9129 ),提升推理效率。 - 加强LLM推理对FP8与INT8的支持(如 9032 , 9151 ),满足多样化精度需求。 - 硬件支持拓展 : - 增强对DCU、XPU、MLU等国产硬件的支持(如 8983 , 850