推理与服务
共 54 个仓库 · Go
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。
云原生反向代理和负载均衡器，自动发现 Docker、Kubernetes 等服务并配置路由，内置 Let's Encrypt 证书管理，适合做微服务入口网关。
自托管的 LLM 网关，统一兼容 OpenAI、Claude、Gemini 等接口，提供模型路由、访问控制、用量统计与成本核算，方便团队集中管理和分发大模型调用。
把原始文档变成可查询的 RAG、自主推理 Agent 和自维护 Wiki 的开源 LLM 知识平台，适合搭建企业知识库与智能问答。
在 macOS 菜单栏里统一管理各家大模型的接入，让 Codex 跑在 DeepSeek 上、Claude Code 跑在 Kimi 上，省去逐个配置的麻烦。
开源的身份与访问管理（IAM）系统，带 Web 界面，支持 OAuth、OIDC、SAML、LDAP 等协议，同时可作为 LLM MCP 与 Agent 网关统一管理认证授权。
冰霜之地的技术博客合集，深入拆解 Go、HTTP/2、密码学、算法与机器学习等源码，适合想系统啃底层实现和系统设计的工程师。
开源 API 与 AI 网关，统一代理 REST、GraphQL、TCP、gRPC 和 MCP 流量，帮你在微服务和 LLM 调用前做路由、鉴权与限流。
基于 Envoy 的云原生 AI 网关，统一代理和路由大模型 API 与微服务流量，支持 AI 原生插件扩展。
高性能 AI 网关，用一套 OpenAI 兼容 API 统一接入上万模型，内置故障转移、负载均衡、语义缓存、虚拟密钥与预算管控，额外延迟低于 200µs。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。
自托管的 AI 网关，把多个渠道的 API 密钥和订阅账号统一接入，提供调度、故障转移、请求日志与用量统计，适合集中管理 LLM 调用。
面向 LLM 推理的可编程语义路由层，按请求语义把流量分发到不同模型和算力，并内置护栏与 K8s 集成。
面向 Agent 系统的模型路由网关，50ms 内把每个请求分派到最合适的模型，只改一个 endpoint 就能省下 40-70% 成本。
基于身份和上下文的零信任访问代理，用统一身份认证替代传统 VPN，按用户身份和设备状态动态控制内网应用访问。
自托管的统一零信任安全访问平台，可同时充当远程访问 VPN、ZTNA、API/AI/MCP 网关和 PaaS，替代 ngrok 并统一管理内网与家庭实验室的基础设施访问。
自托管的 CPA/CLIProxyAPI 管理面板，监控 AI 网关的请求、用量、成本、配额、失败和账号健康，帮团队看清调用开销与稳定性。
用 Go 重写的 AI Agent 编排网关，支持多租户隔离、五层安全防护和原生并发，适合大规模部署 Agent 团队。
给 paperless-ngx 文档管理系统接上大模型，用 LLM 和视觉 OCR 自动识别扫描件内容、生成标题和标签，让文档数字化更省事。
用 Go 写的高性能无状态声明式 API 网关，把后端微服务统一收口，负责路由、聚合和协议转换，适合云原生场景做统一入口。
基于 Envoy Gateway 构建的生成式 AI 统一接入网关，把各家 LLM 和推理服务的调用收敛到一套路由与鉴权入口，方便在 Kubernetes 上统一管理。
面向 A 股的桌面行情分析与 AI 智能投研工作台，集股票分析、量化交易分析和盘后复盘于一体，用大模型智能体辅助投研决策。
企业级私有 AI 网关，统一接入和治理各家大模型，让每次调用都可控、可追踪、可归属。