OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「推理服务器」找到 9 个结果 · 10ms命中词:推理服务器inferenceserverservingserver* serving*只看有点评
I
inference
roboflow·Python

把任意电脑或边缘设备变成计算机视觉推理服务器,一条命令部署目标检测、分类、实例分割等模型,省去自己搭服务的麻烦。

计算机视觉+4
24930—
roboflow/inference · 14.89
L
LocalAI
mudler·Go

开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。

推理引擎+4
503200—
mudler/LocalAI · 10.71
L
llama-swap
mostlygeek·Go

本地大模型推理服务的模型热切换代理,按需自动加载和卸载不同模型,让单个服务端同时对外提供多个 LLM,省去手动重启。

模型热切换+4
62340—
mostlygeek/llama-swap · 10.01
S
shimmy
Michael-A-Kuykendall·Rust

纯 Rust 实现的 WebGPU 推理引擎,原生支持 GGUF 模型,兼容 OpenAI API,无需 Python 和 llama.cpp,单个二进制文件即可在任意 GPU 上跑本地大模型。

推理引擎+4
60140—
Michael-A-Kuykendall/shimmy · 9.52
S
sie
superlinked·Python

开源的推理服务器与生产集群,统一部署 Agent 所需的各类模型,涵盖嵌入、检索与 LLM 推理,省去自建服务与运维的麻烦。

推理服务器+4
35060—
superlinked/sie · 9.47
R
Rapid-MLX
raullenchai·Python

面向 Apple Silicon 的本地 LLM 推理服务器,兼容 OpenAI 与 Anthropic 接口,主打编码智能体的可靠工具调用,同权重下比 mlx-lm 快至多 4 倍。

推理服务器+4
41320—
raullenchai/Rapid-MLX · 9.28
P
Personal-AI-Computer
autonomous-ai

开源 AI 工作站整机方案,覆盖 2 卡桌面到 8 卡服务器,提供 CAD 图纸、BOM 清单、BIOS 配置和装机指南,方便自建本地大模型推理机器。

AI工作站+4
15680—
autonomous-ai/Personal-AI-Computer · 8.09
O
OlliteRT
NightMean·Kotlin

把安卓手机变成兼容 OpenAI 接口的本地大模型推理服务器,数据不出设备,可接入 Home Assistant 等应用。

端侧推理+4
6290—
NightMean/OlliteRT · 8
V
vllm-playground
micytao·JavaScript

给 vLLM 推理服务器套上现代化 Web 界面,方便管理和对话,兼容 GPU/CPU,并针对 macOS Apple Silicon 与 OpenShift/Kubernetes 部署做了优化。

vLLM+4
5460—
micytao/vllm-playground · 7.98