chitu

thu-pacmanApache-2.0活跃维护

面向大语言模型的高性能推理框架，主打高效、灵活和易用，支持 DeepSeek 等模型在 GPU 上做推理服务部署。

High-performance inference framework for large language models, focusing on efficiency, flexibility, and availability.

v0.6.0发布于 2026-07-02 09:24 UTC2,999star251fork同步于 2026-11-10 23:43 UTC

大模型推理推理框架模型服务 GPU加速 DeepSeek

对比 GitHub 官网 deepseek gpu llm llm-serving model-serving

怎么上手

由 README 提炼，执行前请确认

原文

从 Releases 的 Assets 页面下载 chitu.run 后直接启动，完整安装步骤见 docs/zh/DEVELOPMENT.md

硬件要求按 README 说明

README 未给出具体显存要求；支持纯 CPU 部署、单 GPU 部署及集群部署，GPU 侧适配 NVIDIA 多系列及昇腾、沐曦、海光、摩尔线程等国产芯片。

下载：源码 zip·GitHub Releases（安装包）本站不镜像安装包

项目说明

由 README 自动翻译提炼

没人工点评？写下你的经验

生产级大模型推理引擎，兼顾国产芯片适配与从单卡到集群的弹性部署

面向大语言模型的高性能推理框架，主打高效、灵活和易用，支持 DeepSeek 等模型在 GPU 上做推理服务部署。

核心能力

支持纯 CPU、单 GPU 到大规模集群的可伸缩部署
适配英伟达、昇腾、沐曦、海光、摩尔线程等多厂商芯片
提供 FP8/FP4 在线转 BF16/FP8 的高效算子实现
支持 CPU+GPU 异构混合推理，单卡可跑 DeepSeek-R1 671B
chitu.run 单文件启动多结点、多实例与 PD 分离任务

容易踩的坑

推荐用 chitu.run 部署，需从 Releases 页面手动下载而非 pip 安装；具体模型支持范围需先查 docs/zh/SUPPORTED_MODELS.md；完整安装使用说明在 DEVELOPMENT.md，README 未直接给出命令

内容由模型根据 README 生成，可能不完整或不准确，以官方文档为准。看原文 README

最近发版

5 个版本v0.6.0

全部 release

v0.6.0最新正式版2026-07-02 · 2026-07-02 09:24 UTC
- 亮点：
  - 新增 chitu.run：单可执行文件即可启动多节点、多实例、PD 分离等复杂任务。
- 新增功能：
  - 新模型：GLM-5.2。
  - 昇腾 910B 平台支持 GLM-5 系列。
  - 支持在请求中设置 reasoning_effort。
  - 增加 DeepSeek-V4 工具调用支持。
  - INT8 W8A8 MoE 增加 triton 算子实现。
  - 支持 prefill 上下文并行（Prefill CP），目前支持 DeepSeek-V3.x、GLM-5.x。
- 性能优化：
  - 优化 DeepSeek Sparse Attention 的 FP8 prefill 性能。
  - 面向 DeepSeek-V4 的多处优化。
  - 集成海光平台的若干算子。
  - 面向海光平台优化多个辅助算子。
  - 优化 DP 时的元信息通信。
  - 增加 cuda_route_gate_norm 融合算子。
  - 增加 layer_norm 算子的 triton 实现。
- 问题修复：
  - 使设置 infer.full_warmup 时对各分支情况的 warmup 更充分。
  - 修复设置 infer.full_warmup 时的 KV cache 分配错误。
  - 修复 MoE 串行回退实现的量化支持。
  - 修复 MoE dispatcher 的 allgather 实现处理空的 DP rank 时的错误。
  - 修复 infer.pp_size > infer.max_batch_size 时的错误。
  - 修复 PD 分离对长度超出限制的请求的错误处理。
  - 修复导致推理死锁的若干问题。
  - 修复启用 MTP 时 EP 通信 buffer 的潜在溢出问题。
  - 修复 DeepSeek Sparse Attention 中 indexer 的潜在 int32 下标溢出问题。
- 持续迭代：
  - 重构 native layout 机制。
  - 利用 coordinator 分配赤兔内部使用的 TCP 端口。除 coordinator 本身外，其余内部端口不再需要用户指定。
  - 将 nvidia-ml-py 从必选依赖改为可选依赖，并不再使用上游已弃用的用法。
- Highlight:
  - New chitu.run: Single executable to launch complex jobs including multi-node, multi-instance, or PD-disaggregation.
- Features:
  - New model: GLM-5.2.
  - Supported GLM-5 series on Ascend 910B platform.
  - Supported resoning_effort in requests.
  - Supported tool calling for DeepSeek-V4.
  - New triton implementation for INT8 W8A8 MoE.
  - Supported Prefill Context Parallel (Prefill CP), supporting DeepSeek-V3.x, GLM-5.x.
- Optimizations:
  - Optimized FP8 prefill of DeepSeek Sparse Attention.
  - Multiple optimizations for DeepSeek-V4.
  - Integrated multiple operators for Hygon platform.
  - Optimized multiple auxiliary operators for Hygon platform.
  - Optimized metadata communication for DP.
  - New fused operator cuda_route_gate_norm.
  - New triton implementation for layer_norm.
- Bug fixes:
  - More comprehensive warmup when infer.full_warmup is set.
  - Bug fix on KV cache allocation when infer.full_warmup is set.
  - Bug fix on quantization in serial fallback of MoE.
  - Fixed the allgather implementation of MoE dispatcher for empty DP ranks.
  - Fixed for infer.pp_size > infer.max_batch_size.
  - Fixed error handling for out-of-limit sequence length in PD disaggregation.
  - Multiple fixes on dead locks.
  - Fixed potential buffer overflow in EP communication when MTP is enabled.
  - Fixed potential int32 index overflow in the indexer of DeepSeek Sparse Attention.
- Continuous iteration:
  - Refactored native layout mechanism.
  - Allocate internal TCP ports in Chitu with coordinator. Explicit set of all internal TCP ports is no longer needed except for the coordinator itself.
  - Change nvidia-ml-py from a required dependency to an optional dependency, and drop deprecated usage of this package.
构建产物 1（推荐）： chitu.run 可执行文件。见下方“Assets”。

Artifact 1 (recommanded): chitu.run executable. See "Assets" below.

构建产物 2：docker 镜像：

Artifact 2: docker images:
- 英伟达 / NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:v0.6.0
- 英伟达 / NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_90:v0.6.0
- 沐曦 / MetaX: qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-muxi:v0.6.0
- 昇腾 / Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a2:v0.6.0
v0.5.72026-06-04 · 2026-06-04 07:45 UTC
查看更新说明
- 利用融合算子替换 DeepSeek-V4 中的多处朴素实现。
- 优化 DeepSeek-V3.2 等模型中稀疏 attention 读取 indexer KV 的操作。
- 集成 hpc-ops 中的 attention 算子。
- 集成海光平台的若干 w8a8 算子。
- 减少算子分发逻辑中的 CPU 开销。
- 减少对请求的流量控制逻辑中的 CPU 开销。
- 减少 MoE prefill 时布局转换逻辑中的 CPU-GPU 同步开销。
- 允许请求中工具定义中的参数类型字段为非 str 类型。
- 赤兔启动时一律根据 Infiniband 设备情况自动设置环境变量，不再依赖 script/ 目录中的额外启动脚本设置。
- PD 分离兼容 MTP。
- PD 分离部署支持 Grafana 监控面板。
- 修复若干 KV cache 泄漏问题。
- 删除一处对于 MTP 过于严格的 assert。
- 修复 w8a8 MoE 的 triton 实现中的一处访存越界错误。
- Replaced multiple brute-force implementation in DeepSeek-V4 with fused operators.
- Optimized index KV reading in sprase attention in DeepSeek-V3.2 and similar models.
- Integrated attention operators from hpc-ops.
- Integrated multiple w8a8 operators on Hygon platforms.
- Reduced CPU overhead in operator dispatchment.
- Reduced CPU overhead in flow control of requests.
- Reduced CPU-GPU synchronization overhead in layout transformation during MoE prefill.
- Supported argument type field to have types other than str in tool definitions in requests.
- Infiniband-related environment variables are now always configured automatically when starting Chitu, and no longer rely on extra starting scripts in script/.
- PD-disaggregation is now compatible with MTP.
- PD-disaggregation is now compatible with Grafana metrics pannel.
- Fixed multiple KV cache leaks.
- Removed an overly strict assertion for MTP.
- Fixed an out-of-range memory access in the triton implementation of w8a8 MoE.
Official Docker images / 官方 docker 镜像:
- 英伟达 / NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:v0.5.7
- 英伟达 / NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_90:v0.5.7
- 沐曦 / MetaX: qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-muxi:v0.5.7
- 昇腾 / Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a2:v0.5.7
v0.5.62026-05-21 · 2026-05-21 10:10 UTC
查看更新说明
- 新模型：Qwen3.6-27B、Qwen3.6-27B-FP8、Qwen3.6-35B-A3B、Qwen3.6-35B-A3B-FP8、DeepSeek-V4-Flash-Base（仅实验性）、DeepSeek-V4-Flash-FP8（仅实验性）。
- 选择模型时，所有“Qwen3_5”字样变更为“Qwen3.5“。
- 工具调用请求对可用工具的描述中，“required” 字段不再为必填项。
- 赤兔中内建的大部分 CUDA 算子支持海光平台。
- 集成海光平台的多个新算子。
- infer.fuse_shared_experts 选项兼容 EP。
- 令 DeepSeek-V3.2 等模型中的 indexer cache 也能接受前缀缓存。
- GLM-5/5.1-FP8 兼容 infer.mla_absorb=absorb-without-precomp 选项。
- MTP 兼容 infer.schedule_overlap 优化。
- (TP×DP)+(ETP×EP) 混合并行。
- 减少 DeepEP + DeepGEMM Prefill 中的 CPU-GPU 同步。
- 面向前缀缓存命中率优化 DP rank 和多 instance 间的请求路由。
- 利用多 kernel 联合 autotune 优化 triton MoE 实现。
- 通过为不同类型的 KV cache 设置不同 page size 优化 DeepSeek-V3.2 及类似模型。
- 优化前缀缓存的查询时间。
- 增加 CHITU_LOG_STACK_TRACE 调试用环境变量。
- 向请求返回前缀缓存命中统计信息。
- 内建 profiling 功能支持 PD 分离时 profile P (prefill) instance。
- 清除实时监控中的部分无效信息。
- 修复若干 prefill chunk size 较大时的 int32 越界问题。
- 修复 DeepSeek-V3.2 等模型中 indexer 模块的软 FP8 实现。
- 修复 PD 分离时 Prefill 结点采用 DP 并行时可能导致的死锁问题。
- 修复 scheduler 中状态不一致可能导致的死锁问题。
- 清除 FlashMLA 集成中引入的不必要 padding。
- 修复 Qwen3.5/3.6 开启 PP 时的一处问题。
- 修复 warmup 期间 DeepSeek-V3.2 等模型中 indexer KV cache 占用过大的问题。
- New models: Qwen3.6-27B, Qwen3.6-27B-FP8, Qwen3.6-35B-A3B, Qwen3.6-35B-A3B-FP8, DeepSeek-V4-Flash-Base (experimental only)、DeepSeek-V4-Flash-FP8 (experimental only).
- All "Qwen3_5" in model names for selection are now changed to "Qwen3.5".
- The "required" field for parameters in tool descriptions in tool-calling requests are no longer required.
- Most of the built-in CUDA kernels in Chitu now supports Hygon platforms.
- New integration for multiple new operators on Hygon platforms.
- infer.fuse_shared_experts argument is now compatible with EP.
- Indexer cache in DeepSeek-V3.2 and similar models can now be cached by prefix cache.
- GLM-5/5.1-FP8 is now compatible with infer.mla_absorb=absorb-without-precomp argument.
- MTP is now compatible with infer.schedule_overlap optimization.
- (TP×DP)+(ETP×EP) hybrid parallelism.
- Fewer CPU-GPU synchronizations in DeepEP + DeepGEMM prefill steps.
- Optimization on prefix cache hit rate on request routing among DP ranks and instances.
- Optimization on triton MoE implementations via co-auto-tune on multiple kernels.
- Optimization on DeepSeek-V3.2 and similar models via setting different page sizes for different types of KV caches.
- Optimization on prefix cache query time.
- New CHITU_LOG_STACK_TRACE environment variable for debugging.
- Add prefix cache hit status to responses.
- The built-in profiling feature now support profiling the P (prefill) instances in PD-disaggregated deployment.
- Less redundant data in monitored metrics.
- Fixed several issues on int32 overflow on large prefill chunk sizes.
- Fixed the soft FP8 implementation on indexer module in DeepSeek-V3.2 and similar models.
- Fixed a dead-lock issue on PD-disaggregation when prefill instances use DP.
- Fixed a dead-lock issue caused by inconsistent states in scheduler.
- Removed some redundant paddings from MLA integration.
- Fixed an issue on Qwen3.5/3.6 models when using PP.
- Fixed unexpected large indexer KV cache size during warming-up in DeepSeek-V3.2 and similar models.
Official Docker images / 官方 docker 镜像:
- 英伟达 / NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:v0.5.6
- 英伟达 / NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_90:v0.5.6
- 沐曦 / MetaX: qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-muxi:v0.5.6
- 昇腾 / Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a2:v0.5.6
v0.5.52026-04-23 · 2026-04-23 07:54 UTC
查看更新说明
- 支持 LLaDA2.1-mini、LLaDA2.1-flash 模型，是赤兔首次支持扩散语言模型。
- 支持 Kimi-K2.6。
- 向后兼容 Qwen3-Coder-Next-FP8、GLM4.7-FP8。
- 进一步优化 DeepSeek-V3.2 及类似模型中的稀疏 attention。
- 优化 Qwen3-Next 和 Qwen3.5 模型开启 MTP 时的性能。
- 面向前缀缓存优化 DP 路由策略。
- 优化模型加载速度。
- 工具调用兼容 PD 分离。
- 支持单独控制各模块的日志级别（文档）。
- 将 mooncake 作为 pip 安装时的可选依赖，不再需要单独安装。
- 更新 flashinfer 可选依赖。
- 修复在海光平台上的一些兼容问题。
- 修复 infer.prefix_chunk_size 较大时的溢出问题。
- 修复多 stream 导致的显存不能及时释放的问题。
- 修复只有 PCIe 互联的环境上的 allreduce 性能。
- 删除了 infer.use_cuda_graph=auto 时在昇腾平台上默认关闭 graph 的一项过时判断。
- 重构算子分发逻辑。
- 重构异步调度。
- 改进代码仓库中的若干测试。
- Added support for LLaDA2.1-mini and LLaDA2.1-flash models, first supported diffusion LLM models.
- Added support for Kimi-K2.6.
- Added backward support for Qwen3-Coder-Next-FP8 and GLM4.7-FP8.
- Further optimized sparse attention in DeepSeek-V3.2 and similar models.
- Optimized Qwen3-Next and Qwen3.5 models when enabling MTP.
- Optimized DP routing strategy with respect to prefix caching.
- Opitmized model loading speed.
- Made tool calling compatible with PD-disaggregation.
- Supported logging level control on specific modules (doc).
- Added mooncake as an optional dependency during pip install. It no longer needed to be installed manually.
- Upgraded flashinfer optional dependency.
- Fixed some compatible issues on Hygon platform.
- Fixed overflow issues when infer.prefix_chunk_size is high.
- Fixed late memory freeing caused by multi-streaming.
- Fixed allreduce performance on platforms where PCIe is the only interconnect.
- Removed an out-dated default behaviour that turns off the graph when infer.use_cuda_graph=auto.
- Refactored operator dispatching.
- Refactored asynchornous scheduling.
- Improved multiple tests in the repository.
Official Docker images / 官方 docker 镜像:
- 英伟达 / NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:v0.5.5
- 英伟达 / NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_90:v0.5.5
- 沐曦 / MetaX: qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-muxi:v0.5.5
- 昇腾 / Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a2:v0.5.5
v0.5.42026-04-09 · 2026-04-09 16:29 UTC
查看更新说明
- 新模型：GLM-5.1 系列和 Kimi-K2.5。
- 兼容 OpenAI /response API（文档）。
- 支持在 Qwen3-Next 和 Qwen3.5 系列模型中使用 MTP。
- 支持在 DP 并行时例外地 TP 并行 embed_token 和 lm_head 层（设置 infer.embed_tokens_lm_head_tp_size 使用）。
- 新增优雅关闭服务的功能。
- 新增内置的 profiling 功能。
- 优化 DeepSeek-V3.2 及类似模型中的稀疏 attention。
- 弃用 infer.max_reqs 选项，改为意义更明确的 infer.max_batch_size 和 infer.max_concurrent_requests 选项。
- 增加 infer.mla_absorb=auto 选项，并将 auto 作为默认值。
- 重构有状态的采样器。
- 重构 KV cache，使其更能适配不同种类的模型。
- 重构代码仓库中包含的若干测试。
- 修复前缀缓存中的若干问题。
- 修复 MoE 算子分发以及 DeepGEMM 集成的若干问题。
- 修复 log 不能被完整存储到文件的问题。
- 修复带有稠密层的 MoE 模型无法使用 DP+EP+PP 并行的问题。
- 修复依据 infer.memory_utilization 选项自动分配 KV cache 时的计算错误。
- 修复监控数据中显存占用量的显示错误。
- 进一步修复 tokenizer 解码特殊字符时的问题。
- New models: GLM-5.1 series and Kimi-K2.5.
- Compatibility with OpenAI /response API (doc).
- MTP support in Qwen3-Next and Qwen3.5 series models.
- Support of exceptionally using TP for embed_token and lm_head layer when using DP for other layers (set infer.embed_tokens_lm_head_tp_size to use).
- New feature to gracefully shut down the service.
- New built-in profiling support.
- Optimize sparse attention in DeepSeek-V3.2 and similar models.
- Deprecating infer.max_reqs argument and replacing with more explicit infer.max_batch_size and infer.max_concurrent_requests arguments.
- New infer.mla_absorb=auto argument, where auto is the new defult value.
- Refactoration of samplers with states.
- Refactoration of KV cache to better support different types of models.
- Refactoration of some tests in the repo.
- Fixes on prefix caching.
- Fixes on MoE operator dispatching and DeepGEMM integration.
- Fix on the issue that logs cannot be fully saved to files.
- Fix on compatibility between MoE modes with dense layers, and DP+EP+PP parallelism.
- Fix on the calculation when automatically allocating KV cache with respect to infer.memory_utilization.
- Fix on device memory usage in statistics.
- Further fix on tokenizer decoding of special characters.
Official Docker images / 官方 docker 镜像:
- 英伟达 / NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:v0.5.4
- 英伟达 / NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_90:v0.5.4
- 沐曦 / MetaX: qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-muxi:v0.5.4
- 昇腾 / Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a2:v0.5.4
- 昇腾 / Ascend (A3): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a3:v0.5.4

用户点评

登录用户的真实使用记录，可按版本和硬件筛选

共 0 条

还没有人点评。第一个说出真实体验的人最有价值。

README 原文

未翻译

在 GitHub 打开

Chitu「赤兔」

中文 | English

Chitu「赤兔」是一个专注于效率、灵活性和可用性的高性能大模型推理框架。

里程碑

[2026/07/02] 发布 v0.6.0，新增 chitu.run 可执行文件：单文件即可启动多结点、多实例、PD 分离等复杂任务。
[2026/02/06] 发布 v0.5.1，适配摩尔线程 GPU。
[2025/12/12] 发布 v0.5.0，重点提升集群部署场景的性能。
[2025/08/01] 发布 v0.4.0，大幅提升了一体机推理部署场景的性能和稳定性，适配昇腾、英伟达、沐曦、海光，支持 DeepSeek、Qwen、GLM、Kimi 等模型。
[2025/07/28] 发布 v0.3.9，首发支持华为昇腾 910B 推理部署智谱 GLM-4.5 MoE 模型。
[2025/06/12] 发布 v0.3.5，提供昇腾 910B 完整原生支持，提供 Qwen3 系列模型高性能推理方案。
[2025/04/29] 发布 v0.3.0，新增 FP4 在线转 FP8、BF16 的高效算子实现，支持 DeepSeek-R1 671B 的 FP4 量化版。
[2025/04/18] 发布 v0.2.2，新增 CPU+GPU 异构混合推理支持，实现单卡推理 DeepSeek-R1 671B。
[2025/03/14] 发布 v0.1.0，支持 DeepSeek-R1 671B，提供 FP8 在线转 BF16 的高效算子实现。

简介

赤兔定位于「生产级大模型推理引擎」，充分考虑企业 AI 落地从小规模试验到大规模部署的渐进式需求，专注于提供以下重要特性：

多元算力适配：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。
全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。
长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。

项目团队感谢广大用户及开源社区提出的宝贵意见和建议，并将持续改进赤兔推理引擎。然而，受制于团队成员的精力，无法保证及时解决所有用户在使用中遇到问题。如需专业技术服务，欢迎致信 [email protected]

测试数据

请参阅赤兔开发团队测试的性能数据，也欢迎分享您的自测数据。

性能数据与您的硬件配置、软件版本、测试负载相关，多次测试结果可能存在波动。

安装使用

建议使用 chitu.run 进行部署，请从 Releases 中的 Assets 页面下载。

请参阅开发手册获取完整的安装使用说明。

查看支持的模型

更多模型请参见支持的模型。

参与开发

赤兔项目欢迎开源社区的朋友们参与项目共建，请参阅贡献指南。

交流讨论

如果您有任何问题或疑虑，欢迎提交issue。

您也可以扫码加入赤兔交流微信群：

许可证

本项目采用 Apache License v2.0 许可证 - 详见 LICENSE 文件。

本代码仓库还引用了一些来自其他开源项目的代码片段，相关版权信息已在代码中以 SPDX 格式标注。这些代码片段的许可证信息可以在 LICENSES/ 目录下找到。

本代码仓库还包含遵循其他开源许可证的第三方子模块。您可以在 third_party/ 目录下找到这些子模块，该目录中包含了它们各自的许可证文件。

常见问题