OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「CPU加速」找到 40 个结果 · 20ms命中词:加速cpu只看有点评
L
llama.cpp
ggml-org·C++

用 C/C++ 实现的大模型推理引擎,能在普通 CPU 和消费级显卡上跑 LLaMA 等模型,支持量化以降低显存占用。

推理引擎+4
1339890—
ggml-org/llama.cpp · 14.14
O
onnxruntime
microsoft·C++

跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。

推理引擎+4
222770—
microsoft/onnxruntime · 13.67
L
LocalAI
mudler·Go

开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。

推理引擎+4
503020—
mudler/LocalAI · 13.6
W
whisper.cpp
ggml-org·C++

OpenAI Whisper 语音识别模型的 C/C++ 移植版,无需 Python 和 GPU 依赖,在普通 CPU 上就能跑语音转文字。

语音识别+4
550810—
ggml-org/whisper.cpp · 13.57
M
mlx
ml-explore·C++

面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。

Apple silicon+4
291300—
ml-explore/mlx · 13.31
G
GenieX
qualcomm·Go

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。

端侧推理+4
85140—
qualcomm/GenieX · 13.22
O
openvino
openvinotoolkit·C++

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。

推理引擎+4
111440—
openvinotoolkit/openvino · 12.83
W
wezterm
wezterm·Rust

用 Rust 写的 GPU 加速跨平台终端模拟器,同时内置终端复用功能,可替代 tmux 和传统终端,还支持串口连接。

终端模拟器+4
295210—
wezterm/wezterm · 12.75
F
frigate
blakeblackshear·Python

本地运行的网络录像机,接入 IP 摄像头后实时做目标检测,识别到人、车等对象再触发录像和 MQTT 通知,画面不出家门。

网络录像机+4
373870—
blakeblackshear/frigate · 12.71
A
alacritty
alacritty·Rust

用 Rust 写的跨平台 GPU 加速终端模拟器,基于 OpenGL 渲染,主打高帧率和低延迟,适合嫌普通终端卡顿、想要更顺滑操作体验的开发者。

终端模拟器+4
661640—
alacritty/alacritty · 12.62
K
kitty
kovidgoyal·Python

基于 GPU 渲染的跨平台终端模拟器,速度快、功能丰富,适合长期在终端里工作的人,支持 OpenGL 加速和分屏等特性。

终端模拟器+4
356290—
kovidgoyal/kitty · 12.6
M
mpv
mpv-player·C

轻量级命令行视频播放器,基于 FFmpeg 解码,支持硬件加速、字幕渲染和脚本扩展,适合在终端或嵌入其他应用中播放音视频。

命令行播放器+4
380560—
mpv-player/mpv · 12.36
J
jax
jax-ml·Python

把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。

自动微分+4
366040—
jax-ml/jax · 12.35
T
tvm
apache·Python

把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。

深度学习编译器+4
138970—
apache/tvm · 12.27
F
faster-whisper
SYSTRAN·Python

基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎,通过量化与高效推理大幅提速并降低显存占用,适合本地部署转录。

语音识别+4
266570—
SYSTRAN/faster-whisper · 12.17
V
vllm
vllm-project·Python

面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。

推理引擎+4
967010—
vllm-project/vllm · 12.14
R
ruffle
ruffle-rs·Rust

用 Rust 重写的 Flash Player 模拟器,能在浏览器和桌面端直接运行 SWF 文件,让老 Flash 内容在官方停支持后继续可用。

Flash 模拟器+4
188480—
ruffle-rs/ruffle · 11.87
L
LMCache
LMCache·Python

给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。

KV缓存+4
123350—
LMCache/LMCache · 11.61
U
UTM
utmapp·Swift

在 iPhone、iPad 和 Mac 上跑虚拟机的图形化工具,基于 QEMU 封装,让你不用命令行就能装 Windows、Linux 等系统。

虚拟机+4
368300—
utmapp/UTM · 11.47
N
neko
m1k1o·Go

在 Docker 里跑的自托管虚拟浏览器,通过 WebRTC 把画面实时推给多人,用来远程共享浏览和协作操作。

虚拟浏览器+4
226620—
m1k1o/neko · 11.38
M
moviepy
Zulko·Python

用 Python 脚本剪辑视频,支持裁剪拼接、加字幕特效、导出 GIF 和调整帧率,适合批量处理和自动化视频流水线。

视频编辑+4
151360—
Zulko/moviepy · 11.34
M
macos
dockur·Shell

在 Docker 容器里跑完整 macOS 虚拟机,一条命令就能在 Linux 或 Windows 上启动 macOS 环境,适合做 CI 测试和跨平台开发。

macOS 虚拟机+4
217340—
dockur/macos · 11.14
A
autogluon
autogluon·Python

三行代码就能完成训练和调参的 AutoML 框架,自动搞定表格、图像、文本和时间序列任务,省去手动选模型和调超参的麻烦。

自动机器学习+4
108250—
autogluon/autogluon · 11.1
M
meetily
Zackriya-Solutions·Rust

本地运行的 AI 会议记录工具,用 Whisper/Parakeet 在设备上完成转写和说话人分离,不需要会议机器人,会议内容不出本机。

会议记录+4
326110—
Zackriya-Solutions/meetily · 11.1
F
filmcraft
storytold·Rust

用纯 Rust 从零实现的开源非线性视频编辑器,支持多轨道剪辑与视频处理,适合想要轻量、高性能剪辑工具的用户。

视频编辑+4
180170—
storytold/filmcraft · 11.06
W
Waifu2x-Extension-GUI
AaronFeng753·C++

集成 Waifu2x、Real-ESRGAN、Real-CUGAN 等多种超分模型与 RIFE 等补帧算法的图形界面工具,可批量放大视频、图片和 GIF 并提升帧率。

超分辨率+4
172160—
AaronFeng753/Waifu2x-Extension-GUI · 10.96
B
burn
tracel-ai·Rust

Rust 写的张量库和深度学习框架,兼顾灵活性与效率,支持自动微分、跨平台后端和内核融合,可训练和部署神经网络。

深度学习框架+4
162660—
tracel-ai/burn · 10.95
C
cleanrl
vwxyzjn·Python

单文件实现的深度强化学习算法集合,涵盖 PPO、DQN、SAC 等主流算法,代码简洁易读,适合做研究和快速实验。

深度强化学习+4
106660—
vwxyzjn/cleanrl · 10.79
C
CTranslate2
OpenNMT·C++

面向 Transformer 模型的高性能推理引擎,用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速,让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。

推理引擎+4
47480—
OpenNMT/CTranslate2 · 10.24
C
CV-CUDA
CVCUDA·C++

GPU 加速的图像处理与计算机视觉库,专为云端大规模负载设计,用 CUDA 把预处理和视觉算子跑在 GPU 上,缓解 CPU 瓶颈。

GPU加速+4
27340—
CVCUDA/CV-CUDA · 9.79
L
lupine
lupinemachines·C++

把远程机器上的 GPU 通过 IP 网络桥接给只有 CPU 的机器使用,让无显卡设备也能跑 CUDA 计算和推理任务。

GPU 远程调用+4
24640—
lupinemachines/lupine · 9.77
C
Chatterbox-TTS-Server
devnen·Python

自托管 Chatterbox 语音合成模型的服务端,带 Web 界面和 OpenAI 兼容 API,支持预置音色、声音克隆和长篇有声书文本处理,可在 NVIDIA、AMD 和 CPU 上加速运行。

语音合成+4
14970—
devnen/Chatterbox-TTS-Server · 9.59
G
GPTQModel
ModelCloud·Python

面向大模型量化的压缩工具包,支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速,可无缝接入 HF、vLLM 和 SGLang 推理。

模型量化+4
12890—
ModelCloud/GPTQModel · 9.42
C
compressonator
GPUOpen-Tools·C++

一套用 CPU、GPU 和 APU 做纹理与 3D 模型压缩、优化和分析的工具集,支持 BC、ASTC、ETC 等格式,帮图形开发者减小资源体积并检查画质。

纹理压缩+4
14600—
GPUOpen-Tools/compressonator · 9.34
C
chatllm.cpp
foldl·C++

纯 C++ 实现的大模型推理引擎,无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。

C++推理+4
9420—
foldl/chatllm.cpp · 9.33
O
optimum-intel
huggingface·Jupyter Notebook

把 Hugging Face 的 Transformers、Diffusers 等模型接到 Intel 的 OpenVINO 等优化工具上,加速 CPU/GPU 推理,覆盖 LLM、语音识别、语音合成和多模态模型。

推理加速+4
6270—
huggingface/optimum-intel · 9.28
L
libva
intel·C

VA-API 的官方实现库,让 Linux 上的播放器、转码工具和浏览器能调用 Intel GPU 做硬件视频解码、编码与处理,避免纯 CPU 软解的高占用。

硬件加速+4
8000—
intel/libva · 8.91
V
vs-mlrt
AmusementClub·C++

为 VapourSynth 视频处理框架提供 CPU/GPU 高效推理运行时,内置 waifu2x、Real-ESRGAN、RIFE、Real-CUGAN 等超分、降噪、插帧模型,方便在视频后期流程里直接调用。

推理运行时+4
4920—
AmusementClub/vs-mlrt · 8.77
P
phonon
fermionresearch·Python

开源语音识别模型 Phonon-2 和 Phonon-1,提供命令行工具以及 CPU、CUDA 镜像,支持低比特量化和 MLX 加速,方便本地部署语音转文字。

语音识别+4
3370—
fermionresearch/phonon · 8.68
L
lidar_obstacle_detector
SS47816·C++

面向 ROS 1/2 的实时 3D 激光雷达障碍物检测工具,集地面分割、聚类、跟踪与轨迹预测于一体,单核 CPU 约 10ms 处理一帧,可选 TensorRT 加速的 CenterPoint。

激光雷达+4
4190—
SS47816/lidar_obstacle_detector · 8.57