OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「离线推理」找到 14 个结果 · 9ms命中词:离线推理inferenceofflinelocaloffline* local*只看有点评
M
MiroFish-Offline
nikmcfly·Python

离线多智能体模拟与预测引擎,用 Neo4j 图数据库加 Ollama 本地模型跑群体智能推演,全程不联网也能做预测实验。

多智能体+4
26960—
nikmcfly/MiroFish-Offline · 13.49
B
buzz
chidiwilliams·Python

基于 OpenAI Whisper 的离线音频转写与翻译工具,在本机就能把语音转成文字并翻译,不用联网也不上传数据。

语音转写+4
226390—
chidiwilliams/buzz · 10.65
N
ncnn
Tencent·C++

面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

推理框架+4
240390—
Tencent/ncnn · 10.25
M
MNN
alibaba·C++

阿里开源的轻量级端侧推理引擎,主打手机和嵌入式设备上的高性能模型推理,能跑大模型和常规深度学习网络。

推理引擎+4
164960—
alibaba/MNN · 10
S
sherpa-onnx
k2-fsa·C++

基于新一代 Kaldi 和 onnxruntime 的离线语音工具包,一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD,可跑在嵌入式、手机和服务器上。

语音识别+4
158840—
k2-fsa/sherpa-onnx · 9.72
P
pocketsphinx
cmusphinx·C

轻量级离线语音识别引擎,用 C 写成、体积小、资源占用低,适合在嵌入式设备和移动端做实时语音转文字。

语音识别+4
43540—
cmusphinx/pocketsphinx · 9.06
N
nobodywho
nobodywho-ooo·Rust

跨平台本地大模型推理引擎,支持 Godot、Flutter、Expo 等客户端,让 LLM 在任意设备上高效离线运行。

推理引擎+4
16750—
nobodywho-ooo/nobodywho · 8.32
Y
yovoice
leemysw·TypeScript

本地离线的 AI 音频与音乐工作站,支持语音合成、声音克隆、带歌词歌曲和多轨乐谱生成,无需联网和 API 费用。

语音合成+4
21620—
leemysw/yovoice · 8.2
S
sherpa-ncnn
k2-fsa·C++

基于新一代 Kaldi 和 ncnn 的离线实时语音识别与语音活动检测引擎,无需联网即可在手机、嵌入式板卡和桌面端跑起来。

语音识别+4
18000—
k2-fsa/sherpa-ncnn · 8.18
O
OGAM
off-grid-ai·TypeScript

在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图,支持工具调用与局域网服务,无需账号和 API Key。

离线推理+4
33650—
off-grid-ai/OGAM · 8.05
A
airunner
Capsize-Games·Python

本地离线跑图像生成、实时语音对话和 LLM 聊天机器人的桌面推理引擎,数据不出本机,适合注重隐私的创作与自动化工作流。

离线推理+4
13170—
Capsize-Games/airunner · 7.9
S
sokuji
kizuna-ai-lab·TypeScript

面向双语会议的实时双向语音翻译工具,自动识别说话语言并双向互译,支持云端或完全离线本地运行,覆盖桌面端和浏览器插件。

实时翻译+4
14870—
kizuna-ai-lab/sokuji · 7.87
S
SmartJavaAI
geekwenjie·Java

Java 免费离线 AI 算法工具箱,Maven 引入即可用人脸识别、活体检测、OCR、目标检测、语音识别合成和机器翻译,内置 YOLO、PaddleOCR、Whisper 等主流模型。

离线推理+4
9340—
geekwenjie/SmartJavaAI · 7.53
P
Phosphene
mrbizarro·Python

在 Apple Silicon Mac 上离线跑 LTX-2.5 和 MiniMax H3,做带声音的文本/图片转视频、对口型和角色 LoRA 训练,不用云端和 API key。

本地视频生成+4
3680—
mrbizarro/Phosphene · 7.09

发布说明里提到「离线推理」

来自 3 个版本
  • PaddlePaddle/FastDeployv2.4.02026-01-23

    …与模型支持增强 支持文本 prompt logprob 及全量 logprob 能力 4769 支持离线推理中基于 ZMQ 的 logprobs / prompt logprobs ,并引入 max logprobs 参数 4897 支持在线推理中基于 ZMQ 的 logprobs / prompt logprobs ,并优化通信方式 5

  • PaddlePaddle/FastDeployv2.3.02025-11-11

    …考Token的统计 4648 4520 - 新增 n 参数支持单请求返回多个生成结果 4273 - 离线推理chat接口新增 tool 参数支持工具调用 4415 - 多模态数据预处理增加对url数据的下载增加重试 3838 性能优化 - 优化per token quant fp8算子性能,提升50% 4238 - MTP支持Chunke

  • PaddlePaddle/FastDeployv2.2.02025-09-08

    …释放问题 - 修复 max tokens 为0 异常抛出失败问题 - 修复EP + DP 混合模式下离线推理退出hang问题 文档 - 更新了最佳实践文档中一些技术的用法和冲突关系 - 新增多机张量并行部署文档 - 新增数据并行部署文档 其它 - CI新增对自定义算子的Approve拦截 - Config整理及规范化 What's Cha