OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,739 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/10 20:04:40 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「NPU」找到 32 个结果 · 13ms命中词:npu只看有点评
E
ezrknpu
Pelochus·Shell

在 RK3588 等瑞芯微芯片上快速装好并调用 NPU 的脚本工具,省去手动配置驱动和运行环境的麻烦,方便直接跑神经网络和 LLM 推理。

NPU+4
2550—
Pelochus/ezrknpu · 13.94
P
Paddle
PaddlePaddle·C++

飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。

深度学习框架+4
241400—
PaddlePaddle/Paddle · 10.72
G
GenieX
qualcomm·Go

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。

端侧推理+4
85140—
qualcomm/GenieX · 10.24
L
lemonade
lemonade-sdk·C++

在本地 GPU 和 NPU 上直接跑优化后的大模型,帮用户发现并启动本地 AI 应用,省去自己折腾推理环境的麻烦。

本地推理+4
61760—
lemonade-sdk/lemonade · 10.2
M
mindspore
mindspore-ai·C++

华为开源的深度学习训练与推理框架,覆盖移动端、边缘和云场景,主打国产 NPU 生态适配。

深度学习框架+4
47230—
mindspore-ai/mindspore · 10.07
I
ipex-llm
intel·Python

…Intel XPU (e.g., local PC with iGPU and NPU, discrete GPU such as Arc, Flex and Max); seamlessly integrate with llama.cpp, …

88440—
intel/ipex-llm · 10.07
G
gpustack
gpustack·Python

统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。

GPU 集群管理+4
60090—
gpustack/gpustack · 10.04
V
vllm-ascend
vllm-project·Python

让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件,帮你在国产算力上部署大模型服务。

昇腾+4
30710—
vllm-project/vllm-ascend · 9.83
S
sherpa-onnx
k2-fsa·C++

基于新一代 Kaldi 和 onnxruntime 的离线语音工具包,一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD,可跑在嵌入式、手机和服务器上。

语音识别+4
158660—
k2-fsa/sherpa-onnx · 9.82
F
FastFlowLM
ROCm·C++

专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎,几分钟内就能在 AMD NPU 上跑起 LLM,省去繁琐配置。

NPU推理+4
20370—
ROCm/FastFlowLM · 9.72
C
cube-studio
data-infra·Python

开源云原生一站式机器学习与大模型平台,覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS,支持昇腾等国产异构算力调度。

云原生AI平台+4
26040—
data-infra/cube-studio · 9.63
C
cube-studio
tencentmusic

云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。

云原生+4
50860—
tencentmusic/cube-studio · 9.63
O
OGAM
off-grid-ai·TypeScript

在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图,支持工具调用与局域网服务,无需账号和 API Key。

离线推理+4
33640—
off-grid-ai/OGAM · 9.52
A
ai-dev-gallery
microsoft·C#

面向 Windows 开发者的开源示例库,演示如何用本地模型和 API 给 Windows 应用加上 AI 能力,覆盖 ONNX Runtime、DirectML 和 NPU 加速。

Windows AI+4
15170—
microsoft/ai-dev-gallery · 9.52
T
torch-rechub
datawhalechina·Jupyter Notebook

基于 PyTorch 的推荐模型训练框架,封装了 CTR 预估、生成式推荐等常用算法,开箱即用且方便扩展,支持昇腾 NPU 和 ONNX 导出。

推荐系统+4
12410—
datawhalechina/torch-rechub · 9.42
M
MasterAgent
OpenSparX·C++

在 Qualcomm NPU 上本地运行 AI Agent 的 C++ 框架,延迟低于 100ms,完全不依赖云端,适合车载、嵌入式和 IoT 场景。

端侧推理+4
9790—
OpenSparX/MasterAgent · 9.34
N
nndeploy
nndeploy·C++

一款简单易用、高性能的 AI 部署框架,支持 ONNX Runtime、MNN、昇腾等多种推理后端,用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。

AI部署框架+4
18970—
nndeploy/nndeploy · 9.3
M
mlir-aie
Xilinx·C

基于 MLIR 的开源编译器工具链,提供贴近硬件的 Python API,用来给 AMD Ryzen AI NPU(AI Engine)编写和编译算子程序。

NPU 编程+4
7160—
Xilinx/mlir-aie · 9.19
X
XRT
Xilinx·C++

Xilinx 官方运行时库,让 AIE 和 FPGA 加速卡在 Linux 上跑起来,提供驱动、用户态 API 和编译工具链,方便把 AI 负载卸载到 Versal、Ryzen AI 等硬件。

FPGA加速+4
6940—
Xilinx/XRT · 9.15
R
rkllama
NotPunchnox·Python

在瑞芯微 NPU 上跑大模型的推理服务,类似 Ollama 的替代方案,通过优化 rkllm 让 Orange Pi 等设备高效离线运行 AI 模型。

NPU推理+4
6250—
NotPunchnox/rkllama · 9.12
H
halogen-flash-server
peonist-ai·Shell

在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型,用同一端口同时提供 OpenAI 与 Anthropic 兼容 API,让本地推理像调前沿云服务一样顺手。

本地推理+4
12920—
peonist-ai/halogen-flash-server · 9.08
C
clpeak
krrishnarraj·C++

跨平台命令行工具,用同一套测试测 CPU、GPU、NPU 的峰值算力、内存带宽和延迟,覆盖 CUDA、Metal、OpenCL 等主流 API。

性能基准测试+4
5330—
krrishnarraj/clpeak · 9.01
E
edgeyolo
LSH9832·Python

面向边缘设备的实时无锚框目标检测器,精度不错,支持 ONNX、MNN 及 RK3588、昇腾等国产 NPU 部署。

目标检测+4
5310—
LSH9832/edgeyolo · 8.97
G
GPTQModel
ModelCloud·Python

面向大模型量化的压缩工具包,支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速,可无缝接入 HF、vLLM 和 SGLang 推理。

模型量化+4
12890—
ModelCloud/GPTQModel · 8.92
T
taOS
jaylfc·Python

自托管的 AI Agent 操作系统,把记忆、聊天、Agent 和文件都留在自己的硬件上,默认离线运行,还能把树莓派、Mac mini、游戏 PC 自动组集群。

自托管+4
6050—
jaylfc/taOS · 8.89
U
unified-cache-management
ModelEngine-Group·C++

把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用,减少重复计算,加快推理速度,兼容昇腾 NPU 和 CUDA GPU。

KV Cache+4
3550—
ModelEngine-Group/unified-cache-management · 8.85
A
allo
cornell-zhang·Python

面向 ASIC、FPGA 和 NPU 的加速器设计与编程框架,用 Python DSL 描述硬件,再经编译器生成高性能硬件实现。

加速器设计+4
4220—
cornell-zhang/allo · 8.81
O
oneclickvirt
oneclickvirt·Go

一站式虚拟化管理平台,用 Go 编写,统一管理 Proxmox VE、LXD/Incus(含 GPU)、Docker、Podman、KubeVirt 等多种虚拟化与容器运行时。

虚拟化管理+4
3820—
oneclickvirt/oneclickvirt · 8.78
A
ax-samples
AXERA-TECH·CMake

爱芯元智 AI SoC 的示例代码集合,提供 YOLO 系列等视觉模型在 NPU 上的部署样例,帮开发者快速跑通模型推理。

国产NPU+4
3040—
AXERA-TECH/ax-samples · 8.77
N
nwputhesis
1195343015·TeX

西北工业大学本科、硕士、博士学位论文的 LaTeX 模板,按学校排版规范生成封面、目录和参考文献,省去手动调格式的麻烦。

LaTeX模板+3
3030—
1195343015/nwputhesis · 8.71
O
ONNXim
PSAL-POSTECH·C++

ONNXim 是一个周期级多核 NPU 模拟器,能快速仿真 DNN 推理在 NPU 上的执行过程,帮助评估和优化硬件设计。

NPU模拟器+4
2210—
PSAL-POSTECH/ONNXim · 8.64
T
turnkeyml
onnx·Python

面向 ONNX 工作流的无代码命令行工具,能一键完成模型转换、基准测试和本地部署,省去手写脚本的麻烦。

ONNX+4
2470—
onnx/turnkeyml · 8.44

发布说明里提到「NPU」

来自 6 个版本
  • modelscope/FunASRruntime-torch-v0.1.62026-11-05

    … frontends, blank/truncated/missing/compact CMVN input, shipped am.mvn feature equality, package contracts, build/install metadata, and exact-head/main CI. It does not cl

  • modelscope/FunASRruntime-torch-v0.1.52026-11-05

    …benchmarks, Seaco timestamp-output tests, Windows/NPU validation, or a full-suite result. Assets: wheel, source distribution, and SHA256SUMS covering both payloads. GitHu

  • warpfront/hipfirev0.4.2.12026-10-14

    …lease on top of v0.4.2 with two fixes. Strix Halo NPU trunk: the built-in calibration now applies on any Halo kernel and NPU firmware. Before this release, npu trunk=auto

  • Xilinx/mlir-aiev1.4.32026-09-11

    …ek-Varma Added the VE3858 target model , improved NPU2/Gorgon Point support, and fixed Strix-family hardware context limits → @fifield, @atassis, @bong-water-water-bong A

  • feifeibear/long-context-attention0.6.42026-01-13

    …text-attention/pull/159 Adapted for Huawei Ascend npu by @endymion-ni in https://github.com/feifeibear/long-context-attention/pull/162 Adapted Ascend npu for LongContextA

  • tencentmusic/cube-studiov2025.07.012025-08-31

    …Ov7 - 优化SFT pipeline 6. 部署与运维优化 - 支持SSH Proxy - 优化NPU监控 - 生产部署后端代理模式支持gevent - 优化KubeKey离线部署 - 支持Harbor HTTPS部署 - 修复模型发布名称重复报错 - 支持快速卸载AIHub应用 - 优化初始化示例 7. 前端与用户体验 - 修正前端