推理与服务
共 751 个仓库
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。
输入一个主题或关键词，就能自动完成文案生成、素材匹配、配音字幕和视频合成，一键产出高清短视频，省去手工剪辑的麻烦。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。
基于 Postgres 的一站式后端开发平台，提供专用数据库、认证、存储和向量检索能力，可替代 Firebase 快速搭建 Web、移动和 AI 应用。
本地运行的 ElevenLabs 开源替代品，支持声音克隆、语音设计、视频配音、听写、转写和有声书制作，覆盖 646 种语言。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
一个 Agent 技能，用来抹掉文本里 AI 生成的痕迹，让 ChatGPT、Claude 等模型写出的内容读起来更像真人手笔。
云原生反向代理和负载均衡器，自动发现 Docker、Kubernetes 等服务并配置路由，内置 Let's Encrypt 证书管理，适合做微服务入口网关。
给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。
统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。
开源 AI 记忆系统，基于 ChromaDB 为 LLM 提供持久化记忆存储与检索，在基准测试中表现领先，可免费自托管。
开源 AI 语音工作室，支持声音克隆、语音听写和语音生成，基于 Qwen3-TTS 与 Whisper，可在 CUDA 或 MLX 上本地运行。
一个免代码的 RAG 服务器，能随文档更新自动同步答案，支持 8 种向量数据库，基于 Pathway 构建。
OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。
自托管的 LLM 网关，统一兼容 OpenAI、Claude、Gemini 等接口，提供模型路由、访问控制、用量统计与成本核算，方便团队集中管理和分发大模型调用。
把纸质文档扫描后自动 OCR、打标签并归档成可全文检索的个人文档管理系统，适合想彻底告别纸质文件柜的人。
在本地电脑上离线运行大模型的桌面客户端，是 ChatGPT 的开源替代品，无需联网即可对话，数据不出本机。
云原生 API 网关，同时充当 LLM 与 AI 服务的统一入口，集中处理路由、鉴权、限流和可观测性。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
用 LLM 从非结构化文本中抽取结构化信息，并给出精确的原文出处定位和交互式可视化，方便核对抽取结果。
基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用，支持 RAG 检索增强与 Agent 能力，可离线部署私有文档问答系统。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。