OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「C++推理工具包」找到 166 个结果 · 36ms命中词:推理工具inference只看有点评
I
inference
xorbitsai·Python

一行代码就能把 GPT 换成任意开源大模型,统一推理 API 支持云端、本地和笔记本部署,覆盖语言、语音和多模态模型。

推理服务+4
96530—
xorbitsai/inference · 13.7
J
jan
janhq·Rust

在本地电脑上离线运行大模型的桌面客户端,是 ChatGPT 的开源替代品,无需联网即可对话,数据不出本机。

本地推理+4
456760—
janhq/jan · 9.58
M
MNN
alibaba·C++

阿里开源的轻量级端侧推理引擎,主打手机和嵌入式设备上的高性能模型推理,能跑大模型和常规深度学习网络。

推理引擎+4
164980—
alibaba/MNN · 9.4
L
llm-action
liguodongiot·HTML

汇集大模型技术原理与实战经验的开源知识库,覆盖训练、推理、部署和工程化落地全流程,适合系统学习大模型应用开发。

大模型工程化+4
252740—
liguodongiot/llm-action · 9.31
V
voicebox
jamiepine·Python

开源 AI 语音工作室,支持声音克隆、语音听写和语音生成,基于 Qwen3-TTS 与 Whisper,可在 CUDA 或 MLX 上本地运行。

语音克隆+4
604630—
jamiepine/voicebox · 9.24
G
GPT-SoVITS
RVC-Boss·Python

只需 1 分钟语音数据就能训练出高质量 TTS 模型,支持少样本音色克隆,适合快速定制个性化语音合成。

语音合成+4
647950—
RVC-Boss/GPT-SoVITS · 9.21
W
whisper.cpp
ggml-org·C++

OpenAI Whisper 语音识别模型的 C/C++ 移植版,无需 Python 和 GPU 依赖,在普通 CPU 上就能跑语音转文字。

语音识别+4
551050—
ggml-org/whisper.cpp · 9.06
S
supervision
roboflow·Python

一套可复用的计算机视觉工具库,提供目标检测、实例分割、分类等任务的标注处理、指标计算与可视化组件,帮开发者省去重复造轮子的时间。

计算机视觉+4
515970—
roboflow/supervision · 8.99
M
mlx
ml-explore·C++

面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。

Apple silicon+4
291400—
ml-explore/mlx · 8.97
D
DeepResearch
Alibaba-NLP·Python

通义开源深度研究智能体,能自主规划多步检索、浏览网页并整合信息,产出带引用的研究报告,适合做调研问答和资料汇总。

深度研究+4
201290—
Alibaba-NLP/DeepResearch · 8.96
M
meetily
Zackriya-Solutions·Rust

本地运行的 AI 会议记录工具,用 Whisper/Parakeet 在设备上完成转写和说话人分离,不需要会议机器人,会议内容不出本机。

会议记录+4
326390—
Zackriya-Solutions/meetily · 8.95
O
Open-Sora
hpcaitech·Python

开源视频生成模型,用高效架构和训练方案降低高质量视频制作门槛,让普通开发者也能训练和部署文生视频模型。

视频生成+4
299240—
hpcaitech/Open-Sora · 8.92
R
runanywhere-sdks
RunanywhereAI·C++

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。

端侧推理+4
103420—
RunanywhereAI/runanywhere-sdks · 8.89
P
PaddleSpeech
PaddlePaddle·Python

开箱即用的语音工具包,覆盖流式语音识别、语音合成、声纹识别、语音翻译和关键词唤醒,自带标点恢复与文本前端,适合快速搭建语音推理服务。

语音识别+4
127060—
PaddlePaddle/PaddleSpeech · 8.88
R
RapidOCR
RapidAI·Python

基于 ONNX Runtime、OpenVINO、PaddlePaddle 等多家推理后端的 OCR 工具包,支持多语言识别,方便在不同硬件上快速部署文字检测与识别。

OCR+4
85090—
RapidAI/RapidOCR · 8.85
E
eliza
elizaOS·TypeScript

开源智能体操作系统,用 TypeScript 搭建可自主运行的多平台 AI 代理,支持插件扩展、RAG 检索和 Discord 等聊天渠道接入。

智能体框架+4
198470—
elizaOS/eliza · 8.84
W
wenet
wenet-e2e·Python

面向生产环境的端到端语音识别工具包,基于 PyTorch 提供 Conformer、Transformer 等模型,可直接训练和部署 ASR 服务。

语音识别+4
52550—
wenet-e2e/wenet · 8.84
L
lmdeploy
InternLM·Python

LMDeploy 是面向大模型的高效推理与服务工具包,支持模型压缩、部署和在线服务,内置 TurboMind 推理引擎和 CUDA 算子,可加速 Llama、InternLM 等模型的推理。

大模型推理+4
81400—
InternLM/lmdeploy · 8.83
T
tvm
apache·Python

把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。

深度学习编译器+4
138980—
apache/tvm · 8.82
V
vibe
thewh1teagle·TypeScript

跨平台桌面端语音转写工具,基于 Whisper 在本地把音视频转成文字,不用上传云端,隐私和离线场景都能用。

语音转写+4
80720—
thewh1teagle/vibe · 8.79
B
burn
tracel-ai·Rust

Rust 写的张量库和深度学习框架,兼顾灵活性与效率,支持自动微分、跨平台后端和内核融合,可训练和部署神经网络。

深度学习框架+4
162680—
tracel-ai/burn · 8.77
M
mlx-lm
ml-explore·Python

在 Apple Silicon 上通过 MLX 框架运行大语言模型,支持加载、推理和微调,让 Mac 本地跑 LLM 更省心。

MLX+4
76320—
ml-explore/mlx-lm · 8.77
A
ART
OpenPipe·Python

用 GRPO 强化学习给多步 Agent 做在线训练,让 Qwen、Llama 等模型在真实任务里边干边学,提升实际表现。

强化学习+4
108530—
OpenPipe/ART · 8.76
D
diffusers
huggingface·Python

基于 PyTorch 的扩散模型工具箱,统一加载和训练 Stable Diffusion、FLUX 等模型,做图像、视频、音频生成。

扩散模型+4
349100—
huggingface/diffusers · 8.72
A
ASRT_SpeechRecognition
nl8590687·Python

基于深度学习的中文语音识别系统,用 CNN+CTC 把中文语音转成文字,适合搭建本地语音转写服务。

中文语音识别+4
84040—
nl8590687/ASRT_SpeechRecognition · 8.72
Y
yolov3
ultralytics·Python

基于 PyTorch 的 YOLOv3 系列实现,覆盖训练、验证、推理全流程,并支持导出 ONNX、CoreML、TensorRT 等多种格式,方便做实时目标检测和边缘部署。

目标检测+4
106380—
ultralytics/yolov3 · 8.71
S
speechbrain
speechbrain·Python

基于 PyTorch 的开源语音工具包,覆盖语音识别、说话人识别与分离、语音增强等任务,提供预训练模型和训练流程,方便快速搭建语音系统。

语音工具包+4
119340—
speechbrain/speechbrain · 8.7
W
wav2letter
flashlight·C++

Facebook AI 开源的端到端语音识别训练工具包,用 C++ 实现,可基于 wav2letter 架构训练声学模型,省去传统 ASR 繁琐的特征工程流程。

语音识别+4
64450—
flashlight/wav2letter · 8.7
B
buzz
chidiwilliams·Python

基于 OpenAI Whisper 的离线音频转写与翻译工具,在本机就能把语音转成文字并翻译,不用联网也不上传数据。

语音转写+4
226550—
chidiwilliams/buzz · 8.69
E
ERNIE
PaddlePaddle·Python

ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit,基于 PaddlePaddle,支持大语言模型和多模态模型的训练、微调与推理部署。

大模型+4
77400—
PaddlePaddle/ERNIE · 8.67
F
FunASR
modelscope·Python

开源语音识别工具包,覆盖训练、推理、流式 ASR、VAD、标点恢复和说话人分离全流程,并提供 OpenAI 兼容与 MCP 服务接口。

语音识别+4
209990—
modelscope/FunASR · 8.65
C
cog
replicate·Go

把机器学习模型打包成标准 Docker 容器,自动生成 HTTP 推理服务接口,省去自己写 Dockerfile 和部署脚本的麻烦。

模型容器化+4
94980—
replicate/cog · 8.64
R
RWKV-Runner
josStorer·TypeScript

8MB 的 RWKV 模型管理与启动工具,全自动部署推理,并提供兼容 OpenAI API 的接口,方便直接接入现有客户端。

RWKV+4
65020—
josStorer/RWKV-Runner · 8.64
U
unsloth
unslothai·Python

本地跑和训练大模型、扩散模型的图形界面,支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型,省去命令行配置的麻烦。

本地推理+4
793360—
unslothai/unsloth · 8.63
S
sherpa-onnx
k2-fsa·C++

基于新一代 Kaldi 和 onnxruntime 的离线语音工具包,一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD,可跑在嵌入式、手机和服务器上。

语音识别+4
158860—
k2-fsa/sherpa-onnx · 8.62
P
PaddleNLP
PaddlePaddle·Python

基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。

大模型开发库+4
129890—
PaddlePaddle/PaddleNLP · 8.62
G
GenieX
qualcomm·Go

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。

端侧推理+4
85150—
qualcomm/GenieX · 8.58
S
superduper
superduper-io·Python

把数据库和 AI 模型直接打通的全栈框架,让你在 MongoDB 等数据源上直接做推理、训练和部署自定义 AI 应用与智能体。

AI应用框架+4
53290—
superduper-io/superduper · 8.58
X
X-AnyLabeling
CVHub520·Python

跨平台桌面标注工具,支持文本、图像、视频、点云和多模态数据,内置 AI 模型辅助预标注,可导出多种格式。

数据标注+4
109450—
CVHub520/X-AnyLabeling · 8.57
M
mlx-vlm
Neywa-Labs·Python

在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包,支持 LLaVA、Pixtral、Florence2 等多种 VLM,本地即可完成多模态任务。

视觉语言模型+4
58370—
Neywa-Labs/mlx-vlm · 8.57