推理与服务
751 个仓库把模型跑起来：吞吐、延迟、显存、批量调度与 API 服务化。
统一接入 MCP、A2A 和 REST/gRPC 的 AI 网关与注册中心，集中做服务发现、鉴权和调用管控，优化 Agent 与工具调用。
面向 LLM 应用的 AI 原生数据库，把稠密向量、稀疏向量、多向量张量和全文检索融合在一起做混合搜索，速度极快。
面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。
用 Rust 写的高性能向量图神经网络数据库，把向量检索、GNN 推理和智能体记忆放在一起，主打实时决策和低延迟自学习。
把位图转成 SVG 的视觉语言基础模型，将矢量化当作代码生成任务，输出高精度、可直接使用的 SVG 代码。
面向语言学习者的视频播放器，支持双语字幕、Whisper 语音识别自动生成字幕、OCR 识别画面文字，并接入大模型做实时翻译。
把 Unity 引擎接入 AI 编程助手，通过 MCP 工具和 CLI 让 Claude、Copilot、Cursor 等直接调用 C# 方法，实现 AI 驱动的开发与测试闭环。
强类型逻辑数据库，用类型系统和推理规则对知识建模，适合构建需要复杂关系推理的知识图谱与知识库系统。
基于 AntV 的 MCP 可视化服务，提供 25+ 种图表生成能力，让大模型在数据分析场景中直接产出图表。
A community-driven way to read and chat with AI bots - powered by chatGPT.
轻量级离线语音识别引擎，用 C 写成、体积小、资源占用低，适合在嵌入式设备和移动端做实时语音转文字。
一个面向 LLM 的推理优化代理，通过 API 网关接入，自动套用思维链等推理策略来提升模型回答质量并降低调用成本。
基于 Python 和 FastAPI 的多协议代理管理面板，支持 VLESS 等协议，可一键部署到 Railway，用来统一管理和分发代理节点。
开源语音合成模型家族，支持长语音、对话合成、音色设计、音效生成和实时流式 TTS，适合搭建多语言语音生成服务。
提供基于 GPU 加速和微服务架构的生成式 AI 参考工作流，涵盖 RAG、LLM 推理等场景，帮你在 Triton、TensorRT 等基础设施上快速搭建可落地的服务。
一套基于 LangChain 的 RAG 应用构建教程与代码集合，覆盖从基础检索增强到 Agentic RAG 的完整实现路径，帮你快速搭出带检索能力的问答机器人。
自托管的统一零信任安全访问平台，可同时充当远程访问 VPN、ZTNA、API/AI/MCP 网关和 PaaS，替代 ngrok 并统一管理内网与家庭实验室的基础设施访问。
基于 Spark 的分布式 NLP 库，把 BERT、LLM、ONNX 等模型封装成可直接调用的流水线，在集群上批量做命名实体识别、分词、翻译等任务。
纯 C++ 音频推理引擎，基于 ggml 实现，一套代码覆盖语音合成、识别、VAD、变声和音乐生成，不依赖 Python，适合边缘部署。
用 Python 编排多智能体协作来调用大模型，把任务拆给多个 Agent 分工完成，适合搭建需要工具调用和检索增强的 LLM 应用。
面向 Apple Silicon 的本地 LLM 推理服务器，兼容 OpenAI 与 Anthropic 接口，主打编码智能体的可靠工具调用，同权重下比 mlx-lm 快至多 4 倍。
把 ESP8266/ESP32 变成 MQTT 网关，双向桥接 433/315/868MHz 射频、红外、BLE 蓝牙和 LoRa 设备，让米家传感器、温湿度计、体重秤等接入 Home Assistant。
自托管的 CPA/CLIProxyAPI 管理面板，监控 AI 网关的请求、用量、成本、配额、失败和账号健康，帮团队看清调用开销与稳定性。
给 Claude Code 补上的可视化调试面板，能直观查看会话日志、工具调用、token 消耗、子代理和上下文窗口占用，方便排查 AI 编码代理的运行问题。