推理与服务
共 679 个仓库 · 一年内有推送
面向 Redis 的 AI 原生 Python 客户端，把向量检索、缓存和 RAG 所需的数据操作封装成简单接口，省去自己拼装底层命令。
本地模型路由器，把日常 agent 任务分给便宜模型，难题留给最强模型，让 Codex 和 Claude Code 订阅更耐用、更省钱。
用大模型自动给科研论文打标注，结合向量检索定位相关内容，省去人工逐篇阅读和整理文献的功夫。
开源的 Agent 运行时，让团队在自己的基础设施上部署智能体，全程掌控运行环境与数据。
系统梳理大模型推理中 KV Cache 优化的综述仓库，按系统与架构视角归纳显存占用和吞吐瓶颈的各类优化方法，适合做推理加速选型时查阅。
用 Python 编写推理引擎的实验性库，面向 LLM 服务场景，支持 CUDA/GPU 加速，方便快速搭建和试验自己的推理后端。
用大模型做主题建模的提示词框架，自动从文本语料中生成可读的主题描述并分配文档标签，替代传统 LDA 类方法。
把 LLM 应用从原型推进到生产环境的框架，集成了 LangChain、MLflow、OpenAI 和 Vertex AI，方便管理提示词与模型部署。
把训练好的 sklearn、XGBoost 等 ML 模型直接暴露成 LLM Agent 可调用的工具，省去自己写胶水代码，让 Agent 能调用传统模型做预测。
封装百度千帆大模型平台能力的 SDK，提供对话、向量化、重排和微调等 LMOps 最佳实践，让开发者便捷接入文心一言等模型服务。
基于 Nuxt UI 和 Vercel AI SDK 的聊天机器人模板，开箱即用，帮开发者快速搭建带流式对话的 AI 聊天界面。
轻量高效的全模态强化微调框架，支持 GRPO、DAPO 等算法，用奖励模型驱动 LLM 和多模态 VLM 训练。
把本地文档和音视频文件建成向量库，用自然语言提问就能检索并回答，适合搭建私有 RAG 问答。
用 LLM 自动审查 Pull Request 的代码差异，并把评审意见直接评论到 PR 上的 GitHub Action，省去人工逐行看 diff 的功夫。
把 git diff 变成带讲解的引导式浏览，用只读 TUI 像资深工程师那样逐段读懂代码改动，适合新人上手和代码评审。
一个统一 API 网关，用一把密钥即可调用 Claude、GPT、Gemini、Grok、DeepSeek 等主流大模型，并提供无审查、去对齐变体，兼容 OpenAI 与 Anthropic 接口，按 token 计费。
自托管的 CLIProxyAPI 控制台，统一管理 AI 供应商与客户端密钥，并实时观测流式调用遥测和模型成本快照。
自托管的 AI 网关，把私有 RAG、自然语言查数据库和工具调用智能体统一到一个入口，方便在内部环境安全接入大模型。
基于 DuckDB 的 TypeScript 数据分析库，能快速处理表格、地理空间、图网络和向量相似度检索，还支持 AI 与 Google Sheets 集成。
给 Claude Code 加钩子的本地代理，能拦截并改写请求与响应，支持自定义模型名和按逻辑智能路由模型。
用消费级硬件在本地搭建并运行大语言模型和聊天机器人，支持 llama-cpp-python、vLLM 和 RAG 检索增强。
纯 Rust 实现的大模型推理引擎，不依赖 PyTorch 和 Python 运行时，主打极快推理速度，适合部署 Qwen 等模型和构建 Agent 服务。
用 Go 写的 LLM 隐私网关，在请求进出模型前以毫秒级延迟自动识别并脱敏 PII 和密钥，防止敏感数据泄露给大模型。
轻量级 LLM 基础设施代理和负载均衡器，能在本地与远程推理后端之间做智能路由、自动故障转移和统一模型发现。