OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「2bit 量化」找到 2 个结果 · 7ms命中词:量化2bitquantization只看有点评
E
engine
cactus-compute·C++

面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。

端侧推理+4
61870—
cactus-compute/engine · 15.83
K
KIVI
jy-yuan·Python

免调优的 KV Cache 2bit 非对称量化方案,能大幅压缩大模型推理时的显存占用,让长上下文推理在有限显存下跑起来。

KV Cache 量化+4
4380—
jy-yuan/KIVI · 10.78

发布说明里提到「2bit 量化」

来自 6 个版本
  • sgl-project/sglang-omnivoxt-v2.0.12026-11-07

    …识别进程。 - 模型写清楚是哪一个 :语音模型页、各功能页的模型菜单、设置引导和历史都按系列、尺寸和量化称呼模型(Qwen3-ASR 1.7B (8bit)、Qwen3-ASR 0.6B (4bit)),和 Voxt 1.x 一样,不再写“精准语音识别”;卡片上有简短的标签(本地、准确或快速、实时、是否支持主语言)和使用位置,没有评分。

  • xming521/WeClonev1.0.12026-11-05

    …行共用一个密码。 微调分身 - AstrBot、LangBot 等聊天机器人通过令牌接入分身。 - 量化配置在训练和推理中正确生效(@xhrxgr, 218)。 - 通过 dtype 选项支持 T4、V100 等不支持 bfloat16 的显卡(@octo-patch, 212)。 - test-model 在服务未启动时提示先启动服务(

  • jackotom/hongguo-dramav5.82026-11-05

    …GPU/电视、干净Gatekeeper、长期弱网和完整应用内更新未验。保帧不消除网络/转码等待,也未量化逐帧黑屏耗时。系统原生画中画不显示网页保帧层。 未替换本机正式安装,未修改正式用户资料。来源可用性由平台决定,不提供付费内容解锁。

  • oceanbase/oceanbasev4.6.0_CE_BP12026-10-30

    …图片 URL :此前已在 VARCHAR 列上支持语义索引:由 Embedding 模型将文本自动向量化,实现「Data in, Data out」的检索体验。随多模态检索需求增长(如电商以图搜图、内容审核、多模态 RAG),V4.6.0 BP1 版中语义索引新增对图片 URL 的支持能力:在 VARCHAR 列存放图片 URL,创建索引

  • alibaba/MNN3.6.22026-10-29

    …入分块 prefill 与 HMX 计算 Hexagon prefill 优化 :优化 INT4 反量化、HMX GEMM、分组因果 Attention、DMA 双缓冲和 VTCM 工作区,复用 prefill / decode 间的 KV 页面与动态内存池 Hexagon 模型与量化覆盖 :新增 Qwen3-VL 支持,完善对称 / 非

  • QuantumNous/new-apiv1.0.0-rc.462026-10-21

    …b.com/QuantumNous/new-api/pull/7918 feat: 支持阿里多模态向量化模型qwen3-vl-embedding by @feitianbubu in https://github.com/QuantumNous/new-api/pull/5179 fix(relaykit): keep tool call