OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「大模型运行时」找到 28 个结果 · 13ms命中词:大模型运行时llmruntime只看有点评
T
TensorRT-LLM
NVIDIA·Python

用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。

推理引擎+4
150630—
NVIDIA/TensorRT-LLM · 18.03
M
mlc-llm
mlc-ai·Python

通用大模型部署引擎,借助机器学习编译技术把 LLM 高效跑在各种硬件上,从手机到服务器都能用。

推理引擎+4
234180—
mlc-ai/mlc-llm · 15.47
L
llmfit
AlexsJones·Rust

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。

本地推理+4
389270—
AlexsJones/llmfit · 15.27
A
ai-engineering-from-scratch
rohitg00·Python

从零手写实现 AI 工程核心组件的实战课程,覆盖智能体、大模型、计算机视觉与深度学习,边学边构建可交付的项目。

AI工程+4
784930—
rohitg00/ai-engineering-from-scratch · 12.28
R
ray
ray-project·Python

分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。

分布式计算+4
442650—
ray-project/ray · 12.12
H
hermes-agent
NousResearch·Python

一个可随使用不断成长的 AI Agent 框架,支持接入 Claude、ChatGPT 等多种大模型,用于搭建和编排自主智能体。

Agent 框架+3
2627340—
NousResearch/hermes-agent · 11.51
A
AstrBot
AstrBotDevs·Python

一个把 QQ、Discord 等聊天平台与大模型、插件和 MCP 能力串起来的 AI Agent 开发框架,能快速搭建多平台聊天机器人和智能助手。

Agent 框架+4
467060—
AstrBotDevs/AstrBot · 10.96
G
GenieX
qualcomm·Go

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。

端侧推理+4
85150—
qualcomm/GenieX · 10.94
C
ColossalAI
hpcaitech·Python

一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。

分布式训练+4
414280—
hpcaitech/ColossalAI · 10.91
J
jax
jax-ml·Python

把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。

自动微分+4
366140—
jax-ml/jax · 10.9
B
brigade
spinabot·TypeScript

Brigade 是一个 TypeScript 编写的自主智能体运行时,用来编排多智能体协作(AI crew),把个人 AI 助手做成企业级可靠的服务。

智能体运行时+3
113730—
spinabot/brigade · 10.67
H
Halfrost-Field
halfrost·Go

冰霜之地的技术博客合集,深入拆解 Go、HTTP/2、密码学、算法与机器学习等源码,适合想系统啃底层实现和系统设计的工程师。

源码解析+4
132560—
halfrost/Halfrost-Field · 10.34
O
OpenHands
OpenHands·TypeScript

一个能自主写代码、改 bug、跑命令的 AI 开发代理,把大模型接入真实开发环境,让编码任务从对话直接落到执行。

编码代理+4
932510—
OpenHands/OpenHands · 10.24
L
letta
letta-ai

给大模型智能体加上持久记忆和状态管理,让 Agent 能跨会话记住信息、持续学习并自我改进。

有状态智能体+4
254190—
letta-ai/letta · 10.07
M
MNN
alibaba·C++

阿里开源的轻量级端侧推理引擎,主打手机和嵌入式设备上的高性能模型推理,能跑大模型和常规深度学习网络。

推理引擎+4
164980—
alibaba/MNN · 9.99
W
whisper.cpp
ggml-org·C++

OpenAI Whisper 语音识别模型的 C/C++ 移植版,无需 Python 和 GPU 依赖,在普通 CPU 上就能跑语音转文字。

语音识别+4
551050—
ggml-org/whisper.cpp · 9.84
5
5ire
nanbingxyz·TypeScript

跨平台桌面 AI 助手兼 MCP 客户端,兼容主流大模型服务商,可通过 MCP 服务器接入本地知识库和外部工具。

MCP客户端+4
53700—
nanbingxyz/5ire · 9.77
E
engine
cactus-compute·C++

面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。

端侧推理+4
61890—
cactus-compute/engine · 9.64
O
oh-my-pi
can1357·TypeScript

把 IDE 直接接进终端的编码智能体,支持 Claude、OpenAI 等多模型和 MCP,让命令行里也能完成读写代码、调用工具的完整开发流程。

编码智能体+4
387070—
can1357/oh-my-pi · 9.59
T
turbo-fieldfare
drumih·Swift

在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理,靠 Metal GPGPU 把 MoE 模型塞进本地设备。

本地推理+4
73390—
drumih/turbo-fieldfare · 9.58
O
Operit
AAswordman·Kotlin

Android 上能力最强的 AI Agent 与聊天软件,支持本地 llama/MNN 模型和终端操作,让手机直接跑智能体任务。

Android智能体+4
95240—
AAswordman/Operit · 9.2
G
GPTCache
zilliztech·Python

给 LLM 加一层语义缓存,相似问题直接命中缓存结果,省下重复调用 API 的钱和时间,已集成 LangChain 和 llama_index。

语义缓存+4
82250—
zilliztech/GPTCache · 9.1
J
JeecgBoot
jeecgboot·Java

企业级 AI 低代码平台,权限、多租户、工作流、报表、大屏、AI 知识库等通用能力开箱即用,AI 只需生成业务差异部分,一句话即可生成完整系统。

低代码平台+4
484270—
jeecgboot/JeecgBoot · 9.1
R
runanywhere-sdks
RunanywhereAI·C++

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。

端侧推理+4
103420—
RunanywhereAI/runanywhere-sdks · 8.98
F
failproofai
FailproofAI·TypeScript

给 AI Agent 运行框架加上可观测与策略执行层,记录每次运行轨迹,并实时拦截违规行为,提升运行时可靠性。

Agent 可观测性+4
86170—
FailproofAI/failproofai · 8.97
A
AutoSwarm-Shadow-Adapter
AhmadHassan-BTed·Python

给 OpenOPC 的智能体 DAG 运行时加一层零改造的人在回路适配器,让外部智能体执行流程中能插入人工审核与干预。

人在回路+4
51970—
AhmadHassan-BTed/AutoSwarm-Shadow-Adapter · 8.75
A
AReaL
areal-project·Python

把强化学习接到 LLM Agent 应用上的训练框架,让 Agent 能在真实任务中通过 RL 持续优化策略,配置简单、扩展灵活。

强化学习+4
59070—
areal-project/AReaL · 8.73
S
shimmy
Michael-A-Kuykendall·Rust

纯 Rust 实现的 WebGPU 推理引擎,原生支持 GGUF 模型,兼容 OpenAI API,无需 Python 和 llama.cpp,单个二进制文件即可在任意 GPU 上跑本地大模型。

推理引擎+4
60140—
Michael-A-Kuykendall/shimmy · 8.61