推理与服务
共 54 个仓库 · Go
用 Go 写的 AI 网关，把 OpenAI、Anthropic、Gemini、Ollama 等多家模型统一成兼容接口，自带可观测性、限流防护、成本追踪、智能路由和故障转移，可作为 LiteLLM 的替代方案。
用 Go 实现的远程桌面网关，可在 Linux、BSD 或 Kubernetes 上部署，为 RDP 连接提供统一入口和转发。
Go 语言的可嵌入向量数据库，接口类似 Chroma，零第三方依赖，内存存储并可选持久化，方便在 Go 应用里直接做向量检索和 RAG。
自托管的 AI 网关，把 OpenAI、Claude、Gemini、Codex 等编码 CLI 统一到一个兼容端点，并提供多租户控制台、请求日志和费用配额管理。
Kubernetes 上的 LeaderWorkerSet API，用来编排多机多卡的分布式推理工作负载，把大模型服务拆成 leader 和 worker 组统一调度。
用 Go 语言构建 AI/LLM 应用的框架，提供 prompt 管理、向量索引、pipeline 编排和 OpenAI、Pinecone 等集成，省去自己拼装各组件的工作。
用 Go 重写的 Graphite/Carbon 时序数据接收服务，沿用 Agent→Cache→Persister 经典架构，比原版 Python 实现更省资源、吞吐更高。
在私有 GPU 桌面上批量运行 Claude、Codex、Gemini 和开源模型的 Agent 集群，用 Spec Coding 让每个智能体拥有独立加速环境。
开源的自动化代码审查工具，在 Code-Review-Bench 上排名第一，用 LLM 智能体自动审查 Pull Request 并给出评审意见。
统一接入 44 家模型厂商的 AI 网关，实时监控本机各编码代理的调用行为，并给 API 做 A–F 真实性评级，防止用错或被盗用。
用 git worktree 并行跑大量编码 Agent 的命令行工具，让多个 LLM 编码任务互不干扰地同时执行。
用 Go 写的嵌入式向量检索库，底层调 llama.cpp 做语义向量和相似度搜索，适合直接在 Go 服务里加语义搜索能力，不用另起向量数据库。
本地 AI 网关，把各家订阅和 API 服务商统一到一个入口，靠智能路由分发请求，并在设备端做隐私保护。
基于 Kubernetes Operator 的大模型推理部署引擎，统一管理 GPU 调度与模型生命周期，兼容 SGLang、vLLM、TensorRT-LLM 和 Triton 等主流推理后端。
基于 Claude 的自托管自主 AI 开发团队机器人，接入 Telegram 和 VK，自动完成代码审查与开发任务。
把 AI 智能体的记忆全部存进单个 SQLite 文件，内置知识图谱、本体约束和可追溯推理，让本地优先的记忆管理不再依赖外部服务。
给 OpenAI 请求加一层隐私代理，自动检测并脱敏提示词中的 PII 等敏感信息，让调用大模型时不泄露用户数据。
自托管的 AI API 网关，把 Claude Code、Codex、Gemini 的 API Key 和订阅账号汇到一个端点，统一做故障转移、协议转换和成本统计。
开源的 Agent 运行时，让团队在自己的基础设施上部署智能体，全程掌控运行环境与数据。
把 git diff 变成带讲解的引导式浏览，用只读 TUI 像资深工程师那样逐段读懂代码改动，适合新人上手和代码评审。
自托管的 CLIProxyAPI 控制台，统一管理 AI 供应商与客户端密钥，并实时观测流式调用遥测和模型成本快照。
用 Go 写的 LLM 隐私网关，在请求进出模型前以毫秒级延迟自动识别并脱敏 PII 和密钥，防止敏感数据泄露给大模型。
轻量级 LLM 基础设施代理和负载均衡器，能在本地与远程推理后端之间做智能路由、自动故障转移和统一模型发现。
统一的多模型 LLM 网关，把 Claude、Gemini、DeepSeek 等上游统一接入，提供权重负载均衡、可观测性和调用费用追踪，适合多模型混用场景。