标签：KV Cache
技术标签，共 15 个项目。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿，附全书正文、PDF 和配套计算工具，适合想搞懂 AI Infra 底层账怎么算的工程师。
让大参数 Qwen 模型在消费级显卡上跑得动、跑得快：通过 vLLM 补丁和重量化流水线，单张 24GB 卡即可服务 27B 模型，并附完整基准测试。
整理模型量化领域的论文、基准、综述和工具，覆盖低比特网络、大模型、多模态生成模型以及向量与格量化，方便做高效推理部署时查资料。
Datawhale 与 SGLang 官方合作的 LLM 推理课程，从零手写 mini-sglang 理解推理原理，再读真实源码并完成第一个 PR。
一份系统梳理大模型推理的学习笔记，涵盖 Transformer 结构、KV Cache、CUDA 与 Triton 算子编程，以及 vLLM 等框架的源码分析。
纯 Rust + CUDA 实现的大模型推理引擎，不依赖 PyTorch，兼容 OpenAI 接口，可部署 Qwen3 到 Kimi-K2 等模型。
从零实现的大模型蒸馏与推理服务引擎，包含自定义 Triton/CUDA 算子、FSDP 蒸馏、分页 KV 连续批处理、投机解码和 Rust 网关，适合研究推理加速与可解释性。
给 vLLM 加一个免校准的 KV-cache 量化后端，只需一个开关就能把上下文拉长 3~5 倍，吞吐超过 FP16 且精度基本不掉，适合跑长上下文 Agent。
系统梳理大模型推理中 KV Cache 优化的综述仓库，按系统与架构视角归纳显存占用和吞吐瓶颈的各类优化方法，适合做推理加速选型时查阅。
纯 C 实现的 LLM 推理库，零依赖单头文件，通过无损 KV cache 压缩把上下文长度拉长到 7 倍，适合嵌入到资源受限环境。
面向 vLLM 和 SGLang 的 KV cache 复用层，用 Rust 实现，把前缀缓存扩展到 DRAM、SSD 和跨主机，降低大模型推理的重复计算和显存压力。
面向 LLM 推理的高性能 KV cache 存储层，通过 GPU 卸载、SSD 缓存和 RDMA 跨节点共享，缓解长上下文推理的显存瓶颈，兼容 vLLM 与 SGLang。
从零手写的 LLM 推理引擎，实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化，并提供 OpenAI 兼容服务接口。
基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案，用于降低大模型推理时的显存占用。