OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「KV-Cache 压缩」找到 5 个结果 · 12ms命中词:压缩kvcachecompressioncompresszip只看有点评
H
headroom
headroomlabs-ai·Python

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩,编码 Agent 省约 20% token,JSON 省 60-95%,答案不变。提供库、代理和 MCP 服务器三种用法。

上下文压缩+4
793250—
headroomlabs-ai/headroom · 16.37
T
TensorRT-LLM
NVIDIA·Python

用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。

推理引擎+4
150560—
NVIDIA/TensorRT-LLM · 13.49
Q
quant.cpp
quantumaikr·C

纯 C 实现的 LLM 推理库,零依赖单头文件,通过无损 KV cache 压缩把上下文长度拉长到 7 倍,适合嵌入到资源受限环境。

LLM推理+4
4060—
quantumaikr/quant.cpp · 10.94
K
KIVI
jy-yuan·Python

免调优的 KV Cache 2bit 非对称量化方案,能大幅压缩大模型推理时的显存占用,让长上下文推理在有限显存下跑起来。

KV Cache 量化+4
4380—
jy-yuan/KIVI · 10.78
S
spectralquant
Dynamis-Labs·Python

基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案,用于降低大模型推理时的显存占用。

KV-Cache 压缩+4
2040—
Dynamis-Labs/spectralquant · 10.61

发布说明里提到「KV-Cache 压缩」

来自 6 个版本
  • Calcium-Ion/AstrLinkv0.2.222026-11-10

    …ess 时,手动加在 AstrLink 路由里的 compat 等设置被覆盖 特制的 brotli 压缩数据会让 AstrLink 占用过多内存 English Fixes Purging a large request history timed out and deleted nothing Setting up DeepSeek H

  • jackotom/hongguo-dramav6.62026-11-10

    …求格式,修正取源签名与客户端参数不一致,并整合本地播放恢复、观看记录排序及 TV 功能。 - 播放:压缩正文后对实际发送字节签名,保留有界恢复、取消和片源校验。 - 本地文件:在线失败后可明确选择本集已有完整文件,不静默改变固定画质偏好。 - 观看记录:按最近观看排序,保留分组、折叠、筛选和更新提醒。 - 下载:修正临时文件冲突与归属清理

  • yangbin1322/hongguo-playerv1.2.262026-11-10

    …1.2.26-windows-amd64.zip , 解压到一个文件夹后运行 红果短剧.exe . 压缩包里的 WebView2 安装程序和 HEVC 视频扩展请和程序放在一起, 缺少时程序会用它们自动安装. ( hongguo-v1.2.26-windows-amd64.exe 是主程序本身, 供自动更新使用.) - macOS : h

  • tianma-if/edgeeverv2.25.02026-11-10

    …值。感谢 @yulei666 的 826。 - Android 支持从多文件分享中导入微信 ZIP 压缩包,并会在打开 Google Play 更新提示前显示更新说明。 - Docker 自托管版提供压缩且可缓存的 Web 资源,减少重复下载。 - 在 Apple 芯片的 Mac 上通过 Rosetta 运行 Intel 版时,桌面端系统

  • NanmiCoder/cc-hahav0.7.82026-11-10

    …多了一个「上下文窗口(可选)」输入框,留空用官方默认,超过该模型上限会被拦下;设置对新会话生效,自动压缩据此触发。 - 微信媒体投递与连接恢复 ( 1819):微信接入新增通道状态面板,显示在线 / 重连 / 认证失效和最近收发时间;助手回复里的本地图片和文件会按限额回传(文件 30MiB、图片 10MiB、每轮不超过 5 项),失败的输

  • spacering-net/codegv0.42.22026-11-10

    …显示明确提示 ,不再悄悄新开一个空会话导致历史丢失。 - 重新打开 Claude Code 的上下文压缩摘要时,不再显示写给模型的内部提示文本。 - OpenCode 2.2.6 的历史会话能完整显示内容。 感谢 @leehom0123( 1101)和 @xy3xy3( 1111)的贡献,以及 @momomomo820( 1109)的反馈