搜索 · OSS Radar

「KV 缓存感知」找到 2 个结果 · 6ms命中词：缓存感知kvcachecachingcache* caching*只看有点评

用 Rust 写的引擎无关 LLM 网关，统一兼容 OpenAI 与 Anthropic 接口，把 vLLM、SGLang、Gemini 等后端接到同一入口，并支持 KV 缓存感知路由和 gRPC 流水线。

smg-project/smg · 10.87

用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。

localai-org/vllm.cpp · 10.8

发布说明里提到「KV 缓存感知」

来自 6 个版本