搜索 · OSS Radar

「KV cache压缩」找到 6 个结果 · 9ms命中词：压缩kvcachecompressioncompresszip只看有点评

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。

headroomlabs-ai/headroom · 16.38

LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。

InternLM/lmdeploy · 13.73

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

NVIDIA/TensorRT-LLM · 13.61

纯 C 实现的 LLM 推理库，零依赖单头文件，通过无损 KV cache 压缩把上下文长度拉长到 7 倍，适合嵌入到资源受限环境。

quantumaikr/quant.cpp · 10.82

免调优的 KV Cache 2bit 非对称量化方案，能大幅压缩大模型推理时的显存占用，让长上下文推理在有限显存下跑起来。

jy-yuan/KIVI · 10.67

基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案，用于降低大模型推理时的显存占用。

Dynamis-Labs/spectralquant · 10.5

发布说明里提到「KV cache压缩」

来自 6 个版本