OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「本地推理」找到 48 个结果 · 28ms命中词:本地推理inferencelocalofflinelocal* offline*只看有点评
I
inference
xorbitsai·Python

一行代码就能把 GPT 换成任意开源大模型,统一推理 API 支持云端、本地和笔记本部署,覆盖语言、语音和多模态模型。

推理服务+4
96530—
xorbitsai/inference · 13.26
L
local-deep-research
LearningCircuit·Python

本地优先的深度研究问答系统,接 llama.cpp、Ollama 等本地或云端模型,聚合 arXiv、PubMed 及私有文档等十余个检索源,全程加密。

深度研究+4
95660—
LearningCircuit/local-deep-research · 12.55
O
ollama
ollama·Go

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型,省去环境配置和依赖折腾,适合快速做推理和原型验证。

本地推理+3
1866630—
ollama/ollama · 11.63
L
llama.cpp
ggml-org·C++

用 C/C++ 实现的大模型推理引擎,能在普通 CPU 和消费级显卡上跑 LLaMA 等模型,支持量化以降低显存占用。

推理引擎+4
1340800—
ggml-org/llama.cpp · 11.59
V
voicebox
jamiepine·Python

开源 AI 语音工作室,支持声音克隆、语音听写和语音生成,基于 Qwen3-TTS 与 Whisper,可在 CUDA 或 MLX 上本地运行。

语音克隆+4
604460—
jamiepine/voicebox · 10.8
U
unsloth
unslothai·Python

本地跑和训练大模型、扩散模型的图形界面,支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型,省去命令行配置的麻烦。

本地推理+4
793260—
unslothai/unsloth · 10.59
L
llmfit
AlexsJones·Rust

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。

本地推理+4
389230—
AlexsJones/llmfit · 10.29
T
turbo-fieldfare
drumih·Swift

在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理,靠 Metal GPGPU 把 MoE 模型塞进本地设备。

本地推理+4
73390—
drumih/turbo-fieldfare · 10.29
F
frigate
blakeblackshear·Python

本地运行的网络录像机,接入 IP 摄像头后实时做目标检测,识别到人、车等对象再触发录像和 MQTT 通知,画面不出家门。

网络录像机+4
373990—
blakeblackshear/frigate · 10.28
O
Open-Generative-AI
Anil-matcha·JavaScript

自托管的多模型 AI 图像与视频生成工作台,聚合 Flux、Midjourney、Kling、Sora 等 600+ 模型,无内容过滤,可替代闭源视频平台。

图像生成+4
340820—
Anil-matcha/Open-Generative-AI · 10.02
O
Operit
AAswordman·Kotlin

Android 上能力最强的 AI Agent 与聊天软件,支持本地 llama/MNN 模型和终端操作,让手机直接跑智能体任务。

Android智能体+4
95190—
AAswordman/Operit · 9.85
M
mlx-lm
ml-explore·Python

在 Apple Silicon 上通过 MLX 框架运行大语言模型,支持加载、推理和微调,让 Mac 本地跑 LLM 更省心。

MLX+4
76290—
ml-explore/mlx-lm · 9.65
W
worldmonitor
koala73·TypeScript

实时全球情报仪表盘,用 AI 聚合新闻、监控地缘政治与基础设施动态,把分散信息整合进统一的态势感知界面。

态势感知+4
904890—
koala73/worldmonitor · 9.46
C
ComfyUI
Comfy-Org·Python

基于节点图的扩散模型图形界面与后端,支持本地快速推理和 API 调用,方便搭建和调试图像生成工作流。

扩散模型+4
1463390—
Comfy-Org/ComfyUI · 9.41
O
openai-cookbook
openai·Jupyter Notebook

OpenAI API 的官方示例与实战指南合集,用 Jupyter Notebook 演示对话、嵌入、微调等常见用法,帮你快速上手并解决实际调用中的问题。

OpenAI API+4
770480—
openai/openai-cookbook · 9.39
V
VoiceStudio
debpalash·Python

本地运行的 ElevenLabs 开源替代品,支持声音克隆、语音设计、视频配音、听写、转写和有声书制作,覆盖 646 种语言。

语音克隆+4
1080630—
debpalash/VoiceStudio · 9.25
J
jan
janhq·Rust

在本地电脑上离线运行大模型的桌面客户端,是 ChatGPT 的开源替代品,无需联网即可对话,数据不出本机。

本地推理+4
456730—
janhq/jan · 9.05
M
mlx
ml-explore·C++

面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。

Apple silicon+4
291380—
ml-explore/mlx · 9.02
O
open-notebook
lfnovo·TypeScript

开源自托管的 Notebook LM 替代品,能上传资料让 AI 帮你整理笔记、生成摘要和问答,比原版更灵活、功能更多。

笔记工具+4
418590—
lfnovo/open-notebook · 8.96
1
1Panel
1Panel-dev·Go

面向 Linux 服务器的开源运维管理面板,用 Web 界面管理 Docker、LNMP 站点和 Ollama 等 AI 服务,省去手敲命令的麻烦。

服务器管理面板+4
374330—
1Panel-dev/1Panel · 8.87
J
jcode
1jehuang·Rust

用 Rust 写的高性能编码 Agent 运行框架,专为多 Agent 并行开发的重度工作流设计,在终端里跑 TUI 界面。

编码 Agent+4
217000—
1jehuang/jcode · 8.87
Q
Qwen3-VL
QwenLM·Jupyter Notebook

阿里云通义团队开源的多模态大模型系列,能同时理解图像和文本,用于视觉问答、图文推理等视觉语言任务。

多模态大模型+4
201970—
QwenLM/Qwen3-VL · 8.86
O
onyx
onyx-dot-app·Python

开箱即用的开源 AI 对话平台,支持接入任意 LLM,内置 RAG 与企业级搜索,适合团队自建带知识库的聊天助手。

AI 对话平台+4
333380—
onyx-dot-app/onyx · 8.83
E
eliza
elizaOS·TypeScript

开源智能体操作系统,用 TypeScript 搭建可自主运行的多平台 AI 代理,支持插件扩展、RAG 检索和 Discord 等聊天渠道接入。

智能体框架+4
198480—
elizaOS/eliza · 8.83
I
InvokeAI
invoke-ai·TypeScript

面向 Stable Diffusion 的专业图像生成引擎,提供行业领先的 WebUI,支持文生图、图生图、局部重绘和扩图,适合创作者与商业产品集成。

图像生成+4
290680—
invoke-ai/InvokeAI · 8.72
V
vibe
thewh1teagle·TypeScript

跨平台桌面端语音转写工具,基于 Whisper 在本地把音视频转成文字,不用上传云端,隐私和离线场景都能用。

语音转写+4
80700—
thewh1teagle/vibe · 8.69
M
MiniCPM-V
OpenBMB·Python

MiniCPM-V 是面壁智能开源的多模态视觉语言模型,能在手机、PC 等本地设备上完成看图、听音和对话交互,无需依赖云端。

多模态+4
271330—
OpenBMB/MiniCPM-V · 8.67
M
meetily
Zackriya-Solutions·Rust

本地运行的 AI 会议记录工具,用 Whisper/Parakeet 在设备上完成转写和说话人分离,不需要会议机器人,会议内容不出本机。

会议记录+4
326320—
Zackriya-Solutions/meetily · 8.57
A
argos-translate
argosopentech·Python

基于 Python 的开源离线翻译库,用本地语言模型完成多语种互译,无需联网即可在自有设备上跑机器翻译。

离线翻译+3
66440—
argosopentech/argos-translate · 8.55
U
UFO
microsoft·Python

面向 Windows 的 GUI 智能体框架,用自然语言驱动 LLM 自动操作桌面应用完成跨应用任务,把繁琐的点击流程交给 AI 执行。

GUI 智能体+4
101990—
microsoft/UFO · 8.47
X
xiaozhi-esp32-server
xinnan-tech·JavaScript

为小智 ESP32 语音助手提供后端服务,快速搭建设备控制服务器,集成 Dify 与 MCP 能力。

ESP32+4
112540—
xinnan-tech/xiaozhi-esp32-server · 8.45
W
WasmEdge
WasmEdge·C++

轻量高性能的 WebAssembly 运行时,面向云原生、边缘和去中心化场景,支撑无服务器函数、微服务、智能合约和 IoT 设备。

WebAssembly 运行时+4
108550—
WasmEdge/WasmEdge · 8.37
T
T3MP3ST
elder-plinius·TypeScript

一个自主红队测试平台,用多智能体编排自动执行攻击性安全测试,帮安全团队持续检验防御能力。

红队测试+4
70150—
elder-plinius/T3MP3ST · 8.34
L
llama-swap
mostlygeek·Go

本地大模型推理服务的模型热切换代理,按需自动加载和卸载不同模型,让单个服务端同时对外提供多个 LLM,省去手动重启。

模型热切换+4
62340—
mostlygeek/llama-swap · 8.3
D
DigUp
ARahim3·Swift

用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索,跨 Mac、Windows、Linux 的桌面文件检索工具。

语义搜索+4
63740—
ARahim3/DigUp · 8.3
O
osaurus
osaurus-ai·Swift

用 Swift 写的原生 macOS AI 智能体运行环境,可接入任意模型,支持持久记忆、自主执行和加密身份,全程离线运行。

智能体运行环境+4
81590—
osaurus-ai/osaurus · 8.28
M
mlx-audio
Neywa-Labs·Python

基于苹果 MLX 框架的语音处理库,在 Apple Silicon 上高效完成语音合成、语音识别和语音转换,适合本地跑多模态语音任务。

语音合成+4
82500—
Neywa-Labs/mlx-audio · 8.25
V
VideoCrafter
AILab-CVC·Python

开箱即用的视频扩散模型工具箱,支持文生视频和图生视频,重点解决高质量视频训练数据不足的问题。

视频生成+4
51140—
AILab-CVC/VideoCrafter · 8.24
O
openwhispr
OpenWhispr·JavaScript

跨平台语音转文字听写应用,支持本地 Nvidia Parakeet/Whisper 模型和自带密钥的云端模型,主打隐私优先。

语音转文字+4
112990—
OpenWhispr/openwhispr · 8.2
E
Easydict
tisfeng·Swift

一款简洁优雅的 macOS 词典翻译应用,支持划词查询、离线 OCR 识别,并聚合有道、苹果词典、OpenAI、DeepL、Google 等十余种翻译服务。

词典翻译+4
152790—
tisfeng/Easydict · 8.2

发布说明里提到「本地推理」

来自 3 个版本
  • rootsongjc/kubernetes-handbookv2026.11.102026-11-10

    …别名便于检索;引入 part 层级,全书骨架更清晰。 - AI Native 章节重构 :HAMi 本地推理文档与脚本面向 macOS 重构,KAITO、KubeFleet 等 AI 推理基础设施内容增强。 - 书单页更新 :收录多本云原生书籍的翻译进度与导读信息。 内容质量提升 - 补全缺失的 front matter 描述字段,修复多

  • cynicalight/NeoReadv0.9.52026-10-30

    …使用已有结果完成回答,并显示工具失败及调用限制信息。 减小桌面应用体积 macOS 安装包去除重复的本地推理库;Electron 内置界面语言资源仅保留简体中文、繁体中文和英文,不限制文章与笔记的语言。 导出保留原布局的译文 PDF 使用已保存译文生成 PDF 副本,保留页数与页面布局,支持中文、行内公式及图表标题。无法安全排入的区域保留

  • cynicalight/NeoReadv0.9.42026-10-29

    …使用已有结果完成回答,并显示工具失败及调用限制信息。 减小桌面应用体积 macOS 安装包去除重复的本地推理库;Electron 内置界面语言资源仅保留简体中文、繁体中文和英文,不限制文章与笔记的语言。