推理与服务
共 679 个仓库 · 一年内有推送
开源语音合成模型家族，支持长语音、对话合成、音色设计、音效生成和实时流式 TTS，适合搭建多语言语音生成服务。
提供基于 GPU 加速和微服务架构的生成式 AI 参考工作流，涵盖 RAG、LLM 推理等场景，帮你在 Triton、TensorRT 等基础设施上快速搭建可落地的服务。
一套基于 LangChain 的 RAG 应用构建教程与代码集合，覆盖从基础检索增强到 Agentic RAG 的完整实现路径，帮你快速搭出带检索能力的问答机器人。
自托管的统一零信任安全访问平台，可同时充当远程访问 VPN、ZTNA、API/AI/MCP 网关和 PaaS，替代 ngrok 并统一管理内网与家庭实验室的基础设施访问。
基于 Spark 的分布式 NLP 库，把 BERT、LLM、ONNX 等模型封装成可直接调用的流水线，在集群上批量做命名实体识别、分词、翻译等任务。
纯 C++ 音频推理引擎，基于 ggml 实现，一套代码覆盖语音合成、识别、VAD、变声和音乐生成，不依赖 Python，适合边缘部署。
用 Python 编排多智能体协作来调用大模型，把任务拆给多个 Agent 分工完成，适合搭建需要工具调用和检索增强的 LLM 应用。
面向 Apple Silicon 的本地 LLM 推理服务器，兼容 OpenAI 与 Anthropic 接口，主打编码智能体的可靠工具调用，同权重下比 mlx-lm 快至多 4 倍。
把 ESP8266/ESP32 变成 MQTT 网关，双向桥接 433/315/868MHz 射频、红外、BLE 蓝牙和 LoRa 设备，让米家传感器、温湿度计、体重秤等接入 Home Assistant。
自托管的 CPA/CLIProxyAPI 管理面板，监控 AI 网关的请求、用量、成本、配额、失败和账号健康，帮团队看清调用开销与稳定性。
给 Claude Code 补上的可视化调试面板，能直观查看会话日志、工具调用、token 消耗、子代理和上下文窗口占用，方便排查 AI 编码代理的运行问题。
量化注意力算子库，在语言、图像、视频模型上比 FlashAttention 快 2-5 倍且不损失端到端精度，可直接替换加速推理。
面向A股的多人智能体投研框架，接入龙虎榜、游资、解禁等本地数据源，让7位AI分析师按A股规则辩论并给出风险评估。
面向 AI Agent 的级联运行时，在 Agent 循环内按成本、延迟、质量和策略动态调度模型与决策，帮你在不牺牲效果的前提下省下推理开销。
基于 PyTorch 的自监督学习库，用对比学习和 JEPA 世界模型在无标注图像上训练表征，省去人工标注成本。
在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库，封装 llama.cpp，让 C# 开发者不用切 Python 就能做聊天和多模态推理。
面向 Postgres、MySQL、SQL Server、Oracle 等数据库的 MCP 服务器，让 Claude、Cursor 等 AI 编程助手能直接查询数据库，并控制上下文 token 消耗。
用多环境任务系统评测大模型作为智能体的综合能力，覆盖操作系统、数据库、知识图谱等场景，方便横向对比不同模型的 agent 表现。
基于 faster-whisper 的语音转写服务，提供兼容 OpenAI API 的接口，用 Docker 一键部署即可获得本地语音识别与翻译能力。
基于飞桨的高性能推理部署工具包，专门用来把大语言模型和多模态模型跑起来、服务化，支持 ERNIE 系列和 OpenAI 兼容接口。
用 Go 重写的 AI Agent 编排网关，支持多租户隔离、五层安全防护和原生并发，适合大规模部署 Agent 团队。
一份精选的生成式 AI 资源清单，汇总了工具、模型、作品和参考资料，方便快速找到绘画、对话、嵌入等方向的实用项目。
为 Transformers、Diffusers 等模型提供硬件加速与量化、ONNX 导出等优化工具，让推理和训练在各类硬件上跑得更快。
开源的推理服务器与生产集群，统一部署 Agent 所需的各类模型，涵盖嵌入、检索与 LLM 推理，省去自建服务与运维的麻烦。