推理与服务

751 个仓库

把模型跑起来:吞吐、延迟、显存、批量调度与 API 服务化。

oh-my-pi
can1357·TypeScript

把 IDE 直接接进终端的编码智能体,支持 Claude、OpenAI 等多模型和 MCP,让命令行里也能完成读写代码、调用工具的完整开发流程。

编码智能体+4MCP 生态
38538+4614.4kv18.18.42026-11-10 15:32 UTC
Vibe-Trading
HKUDS·Python

用大模型智能体做量化交易,支持多智能体协作、策略回测和 MCP 接入,让个人也能搭起自己的自动交易助手。

量化交易+4量化交易
37999+1966.2kv0.1.192026-11-10 14:01 UTC
one-api
songquanpeng·JavaScript

把 OpenAI、Claude、Gemini、通义千问等十几家主流大模型统一到一个 API 下,方便做密钥管理和二次分发,单文件部署开箱即用。

LLM API 网关+4网关与路由
37397+506.9kv0.6.102026-01-09 03:26 UTC
WeKnora
Tencent·Go

把原始文档变成可查询的 RAG、自主推理 Agent 和自维护 Wiki 的开源 LLM 知识平台,适合搭建企业知识库与智能问答。

知识库+4向量化 / 重排服务
37103+3585.1kv0.9.02026-11-09 15:19 UTC
next-ai-draw-io
DayuanJiang·TypeScript

用聊天方式让 AI 直接绘制和编辑 draw.io 图表,提供网页版、桌面版和 MCP 服务器,可接入 Claude Code、Cursor 等编码工具。

图表生成+4MCP 生态
36863+893.8kv0.5.12026-11-10 11:10 UTC
SillyTavern
SillyTavern·JavaScript

面向重度用户的大语言模型聊天前端,支持接入多种模型接口,提供角色卡、提示词管理和对话历史等进阶功能,适合深度定制 AI 角色扮演与对话体验。

聊天前端+4大模型推理服务
35494+1066.7k1.19.02026-10-02 22:05 UTC
AionUi
iOfficeAI·TypeScript

把 Claude Code、Codex、Gemini CLI 等 20 多种命令行 AI 代理统一到一个可长期在线的协作界面里,支持自定义助手并组队干活。

命令行代理+4编码 Agent
34193+1013.6kv2.2.22026-11-05 05:31 UTC
mcp-for-blender
ahujasid·Python

让任意大模型通过 MCP 协议直接操控 Blender 建模的社区插件,用自然语言就能驱动 3D 创作流程。

MCP协议+4MCP 生态
33880+3273.1k2026-11-04 13:04 UTC
magpie
yetone·Go

在 macOS 菜单栏里统一管理各家大模型的接入,让 Codex 跑在 DeepSeek 上、Claude Code 跑在 Kimi 上,省去逐个配置的麻烦。

模型路由+4编码 Agent
33812+20193.0kv0.1.34582026-11-10 17:05 UTC
onyx
onyx-dot-app·Python

开箱即用的开源 AI 对话平台,支持接入任意 LLM,内置 RAG 与企业级搜索,适合团队自建带知识库的聊天助手。

AI 对话平台+4RAG 框架
33325+454.7kv5.1.12026-11-10 17:19 UTC
self-llm
datawhalechina·Jupyter Notebook

面向中文用户的 Linux 环境大模型实战教程,手把手教你在本地微调(全参数/LoRA)和部署国内外开源 LLM 与多模态模型。

大模型微调+4参数高效微调
32750+253.2k2026-10-29 10:59 UTC
Scrapegraph-ai
ScrapeGraphAI·Python

用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。

智能爬虫+4Markdown 编辑器
32695+863.3kv2.3.12026-10-06 08:27 UTC
meetily
Zackriya-Solutions·Rust

本地运行的 AI 会议记录工具,用 Whisper/Parakeet 在设备上完成转写和说话人分离,不需要会议机器人,会议内容不出本机。

会议记录+4加密 / 隐私工具
32592+823.6kv0.4.12026-11-10 08:07 UTC
TencentDB-Agent-Memory
TencentCloud·TypeScript

把对话、文档和代码沉淀成聊天记忆、技能、LLM-Wiki、代码图谱四类可复用记忆资产,让多个 AI Agent 跨框架共享和治理长期记忆。

长期记忆+4向量化 / 重排服务
30746+1283.0kv2.0.32026-11-10 13:27 UTC
RAG_Techniques
NirDiamant·Jupyter Notebook

用 Jupyter Notebook 逐个演示 RAG 系统的进阶技巧,从嵌入、检索到重排都有可运行教程,适合动手搭建和优化检索增强生成流程。

检索增强生成+4向量化 / 重排服务
30302+403.7kai-agents-book-v1.02026-11-02 00:36 UTC
mastra
mastra-ai·TypeScript

用 TypeScript 快速搭建 AI 应用和智能体的现代框架,内置工作流、对话机器人和评测能力,省去自己拼装 LLM 调用链的麻烦。

智能体框架+4语音
29450+523.1k@mastra/[email protected]2026-11-10 17:21 UTC
repomix
yamadashy·TypeScript

把整个代码仓库打包成单个 AI 友好文件,方便直接喂给 ChatGPT、Claude 等大模型做代码理解与分析。

代码打包+4开发库 / 框架
29216+371.6kv1.19.02026-11-08 08:56 UTC
Chat2DB
OtterMind·Java

跨平台本地优先的数据库客户端和 SQL 工作台,支持 40+ 数据库,可接入自有 AI 模型生成、解释和优化查询,桌面、Web、Docker、CLI 多端可用。

数据库客户端+4数据库工具
28360+73.0kv5.3.9-beta.22026-11-02 06:24 UTC
DeepSpeech
mozilla·C++

DeepSpeech is an open source embedded (offline, on-device) speech-to-text engine which can run in real time on devices ranging from a Raspberry Pi 4 to high power GPU servers.

IoT / 固件
267724.1k2025-06-19 12:52 UTC
faster-whisper
SYSTRAN·Python

基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎,通过量化与高效推理大幅提速并降低显存占用,适合本地部署转录。

语音识别+4语音推理
26650+782.2kv1.2.12026-11-10 10:13 UTC
llm-action
liguodongiot·HTML

汇集大模型技术原理与实战经验的开源知识库,覆盖训练、推理、部署和工程化落地全流程,适合系统学习大模型应用开发。

大模型工程化+4大模型推理服务
25271+112.9k2026-10-14 14:28 UTC
flash-attention
Dao-AILab·Python

快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。

注意力机制+4推理加速
25266+103.2kv2.8.3.post22026-11-10 03:46 UTC
whisperX
m-bain·Python

基于 Whisper 的语音识别工具,能给出词级时间戳并支持说话人分离,适合做字幕对齐和会议转写。

语音识别+4语音推理
25201+542.5kv3.8.62026-10-22 14:53 UTC
pangolin
fosrl·TypeScript

自托管的零信任访问平台,集反向代理、SSO 和 NAT 穿透于一体,让用户安全连接内网应用、基础设施和 AI 服务。

零信任访问+4网关与路由
23559+2128261.26.02026-11-10 14:45 UTC