OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「延迟优化」找到 16 个结果 · 8ms命中词:延迟优化latency只看有点评
M
meshoptimizer
zeux·C++

轻量级 C++ 网格优化库,通过顶点缓存重排、索引压缩和网格简化,让 3D 模型体积更小、GPU 渲染更快。

网格优化+4
88320—
zeux/meshoptimizer · 12.05
S
sglang
sgl-project·Python

高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。

推理服务框架+4
387520—
sgl-project/sglang · 12.05
N
ncnn
Tencent·C++

面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

推理框架+4
240390—
Tencent/ncnn · 11.93
U
UDPspeeder
wangyu-·C++

用前向纠错(FEC)在高延迟丢包链路上改善网络质量,为 TCP/UDP/ICMP 等所有流量建立隧道,降低丢包带来的卡顿。

前向纠错+4
51970—
wangyu-/UDPspeeder · 11.48
V
vllm
vllm-project·Python

面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。

推理引擎+4
967520—
vllm-project/vllm · 11.48
L
LMCache
LMCache·Python

给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。

KV缓存+4
123420—
LMCache/LMCache · 11.16
C
compress
klauspost·Go

Go 语言的高性能压缩解压库,提供 deflate、gzip、zstd、snappy 等算法的优化实现,比标准库更快更省内存,适合对吞吐和延迟敏感的服务。

压缩解压+4
57180—
klauspost/compress · 11.14
F
Front-End-Checklist
thedaviddias·MDX

一份面向前端开发的现代 Web 开发检查清单,覆盖 HTML、CSS、JavaScript 等实践要点,供开发者和 AI Agent 逐项核对,避免上线前遗漏细节。

前端检查清单+4
747080—
thedaviddias/Front-End-Checklist · 11.06
F
fastfetch
fastfetch-cli·C

用 C 语言写的高性能系统信息展示工具,类似 neofetch 但更快、功能更全,在终端里一行命令就能看到系统配置概览。

系统信息+3
253350—
fastfetch-cli/fastfetch · 10.82
F
flash-attention
Dao-AILab·Python

快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。

注意力机制+4
252760—
Dao-AILab/flash-attention · 10.63
D
DeepEP
deepseek-ai·Cuda

面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。

专家并行+4
104320—
deepseek-ai/DeepEP · 10.42
D
draco
google·C++

压缩和解压 3D 几何网格与点云,显著减小 3D 图形体积,让存储和网络传输更省空间、更快。

3D压缩+4
75480—
google/draco · 10.21
T
TensorRT-LLM
NVIDIA·Python

用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。

推理引擎+4
150640—
NVIDIA/TensorRT-LLM · 10.19
G
GPTCache
zilliztech·Python

给 LLM 加一层语义缓存,相似问题直接命中缓存结果,省下重复调用 API 的钱和时间,已集成 LangChain 和 llama_index。

语义缓存+4
82250—
zilliztech/GPTCache · 10.11
D
DALI
NVIDIA·C++

GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。

GPU加速+4
57940—
NVIDIA/DALI · 9.93
D
dynamo
ai-dynamo·Rust

面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。

分布式推理+4
84700—
ai-dynamo/dynamo · 9.89

发布说明里提到「延迟优化」

来自 1 个版本
  • oceanbase/oceanbasev4.4.2_CE_BP22026-07-21

    …ET pk=pk 1 ),仍按 DELETE 和 INSERT 输出,保证行迁移语义正确。 增量链路延迟优化 :优化增量抽取和同步链路的处理效率,降低高并发写入、跨机房抽取或大事务场景下的链路延迟。 SQL/PL 性能优化 硬解析内存优化 :优化 SQL 编译和硬解析过程中的临时内存使用,降低复杂 SQL(大 UNION、复杂 Join