搜索 · OSS Radar

「KV Cache」找到 10 个结果 · 11ms命中词：kvcache只看有点评

LMCache

LMCache·Python

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

KV缓存+4

123350—

LMCache/LMCache · 25.07

RWKV-LM

BlinkDL·Python

RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。

语言模型+4

147730—

BlinkDL/RWKV-LM · 24.63

nano-vllm

GeeeekExplorer·Python

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

推理引擎+4

163870—

GeeeekExplorer/nano-vllm · 15.37

redis

redis·C

高性能内存键值数据库，兼作缓存、消息队列和向量检索引擎，帮实时数据应用把读写延迟压到毫秒级。

内存数据库+4

773670—

redis/redis · 15.19

headroom

headroomlabs-ai·Python

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。

上下文压缩+4

793250—

headroomlabs-ai/headroom · 14.26

vllm

vllm-project·Python

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

推理引擎+4

967010—

vllm-project/vllm · 13.98

LLMs-from-scratch

rasbt·Jupyter Notebook

从零用 PyTorch 一步步实现类 ChatGPT 大语言模型，覆盖注意力机制、预训练、指令微调全流程，适合边跑代码边理解 LLM 内部原理。

大语言模型+4

1082110—

rasbt/LLMs-from-scratch · 13.73

flash-attention

Dao-AILab·Python

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

注意力机制+4

252700—

Dao-AILab/flash-attention · 13.02

MNN

alibaba·C++

阿里开源的轻量级端侧推理引擎，主打手机和嵌入式设备上的高性能模型推理，能跑大模型和常规深度学习网络。

alibaba/MNN · 12.67

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

推理引擎+4

150560—

NVIDIA/TensorRT-LLM · 12.54

发布说明里提到「KV Cache」

来自 6 个版本