给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

给 LLM 加一层语义缓存，相似问题直接命中缓存结果，省下重复调用 API 的钱和时间，已集成 LangChain 和 llama_index。

面向 vLLM 和 SGLang 的 KV cache 复用层，用 Rust 实现，把前缀缓存扩展到 DRAM、SSD 和跨主机，降低大模型推理的重复计算和显存压力。

给 vLLM 加一个免校准的 KV-cache 量化后端，只需一个开关就能把上下文拉长 3~5 倍，吞吐超过 FP16 且精度基本不掉，适合跑长上下文 Agent。

CacheRoute 是一套 LLM 调度方案，让不同 LLM 系统之间灵活复用 KV cache，从而提升任务表现和整体推理效率。

把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用，减少重复计算，加快推理速度，兼容昇腾 NPU 和 CUDA GPU。

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。

高性能内存键值数据库，兼作缓存、消息队列和向量检索引擎，帮实时数据应用把读写延迟压到毫秒级。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

用 Java 实现跨平台 CPU 模拟，可直接加载并运行 Android 原生 so 库，也支持实验性 iOS 模拟，常用于逆向分析与脱壳调试。

在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。

一个简洁但完整的全注意力 Transformer 实现，集成了多篇论文中值得尝试的实验性特性，方便研究者快速试验各种注意力变体。

面向 AI Agent 和 MCP 服务器的下一代代理网关，用 Rust 编写，把 Agent 与模型、工具之间的流量统一接入、路由和管控。

LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。

面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。

在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。

让大参数 Qwen 模型在消费级显卡上跑得动、跑得快：通过 vLLM 补丁和重量化流水线，单张 24GB 卡即可服务 27B 模型，并附完整基准测试。

Datawhale 与 SGLang 官方合作的 LLM 推理课程，从零手写 mini-sglang 理解推理原理，再读真实源码并完成第一个 PR。

用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。

用 Rust 写的引擎无关 LLM 网关，统一兼容 OpenAI 与 Anthropic 接口，把 vLLM、SGLang、Gemini 等后端接到同一入口，并支持 KV 缓存感知路由和 gRPC 流水线。

纯 Rust + CUDA 实现的大模型推理引擎，不依赖 PyTorch，兼容 OpenAI 接口，可部署 Qwen3 到 Kimi-K2 等模型。

面向 LLM 推理的高性能 KV cache 存储层，通过 GPU 卸载、SSD 缓存和 RDMA 跨节点共享，缓解长上下文推理的显存瓶颈，兼容 vLLM 与 SGLang。

从零手写的 LLM 推理引擎，实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化，并提供 OpenAI 兼容服务接口。

基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。

整理模型量化领域的论文、基准、综述和工具，覆盖低比特网络、大模型、多模态生成模型以及向量与格量化，方便做高效推理部署时查资料。