OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「NPU推理」找到 17 个结果 · 14ms命中词:推理npuinference只看有点评
P
Paddle
PaddlePaddle·C++

飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。

深度学习框架+4
241410—
PaddlePaddle/Paddle · 14.31
G
GenieX
qualcomm·Go

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。

端侧推理+4
85140—
qualcomm/GenieX · 13.95
L
lemonade
lemonade-sdk·C++

在本地 GPU 和 NPU 上直接跑优化后的大模型,帮用户发现并启动本地 AI 应用,省去自己折腾推理环境的麻烦。

本地推理+4
61820—
lemonade-sdk/lemonade · 13.92
O
onnxruntime
microsoft·C++

跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。

推理引擎+4
222840—
microsoft/onnxruntime · 13.66
S
sherpa-onnx
k2-fsa·C++

基于新一代 Kaldi 和 onnxruntime 的离线语音工具包,一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD,可跑在嵌入式、手机和服务器上。

语音识别+4
158820—
k2-fsa/sherpa-onnx · 13.64
G
gpustack
gpustack·Python

统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。

GPU 集群管理+4
60220—
gpustack/gpustack · 13.51
O
openvino
openvinotoolkit·C++

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。

推理引擎+4
111460—
openvinotoolkit/openvino · 13.42
C
cube-studio
tencentmusic

云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。

云原生+4
50840—
tencentmusic/cube-studio · 13.33
L
LocalAI
mudler·Go

开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。

推理引擎+4
503120—
mudler/LocalAI · 12.96
W
wenet
wenet-e2e·Python

面向生产环境的端到端语音识别工具包,基于 PyTorch 提供 Conformer、Transformer 等模型,可直接训练和部署 ASR 服务。

语音识别+4
52550—
wenet-e2e/wenet · 12.78
S
self-llm
datawhalechina·Jupyter Notebook

面向中文用户的 Linux 环境大模型实战教程,手把手教你在本地微调(全参数/LoRA)和部署国内外开源 LLM 与多模态模型。

大模型微调+4
327500—
datawhalechina/self-llm · 12.43
P
PaddleNLP
PaddlePaddle·Python

基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。

大模型开发库+4
129880—
PaddlePaddle/PaddleNLP · 12.16
M
Mooncake
kvcache-ai·C++

Mooncake 是支撑 Kimi 大模型服务的推理平台,通过 KVCache 分离式架构和 RDMA 高速传输,把预填充与解码拆开部署,提升长上下文场景下的吞吐和资源利用率。

推理服务+4
70220—
kvcache-ai/Mooncake · 12.06
V
vllm-omni
vllm-project·Python

面向全模态模型的高效推理框架,支持图像、视频、音频生成与多模态模型服务,基于 PyTorch 提供统一的推理与部署能力。

全模态推理+4
76950—
vllm-project/vllm-omni · 12.05
E
executorch
pytorch·Python

PyTorch 官方的端侧推理框架,把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行,覆盖 CPU、GPU 等多种后端。

端侧推理+4
51700—
pytorch/executorch · 11.79
M
ms-swift
modelscope·Python

一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。

训练框架+4
160870—
modelscope/ms-swift · 11.76
P
PaddleX
PaddlePaddle·Python

基于飞桨的一站式开发工具,把分类、检测、分割、OCR、语音识别等任务封装成流水线,支持训练到部署全流程。

飞桨+4
62930—
PaddlePaddle/PaddleX · 11.67