推理与服务
共 540 个仓库 · 近 4 个月有推送
开源语音合成模型家族，支持长语音、对话合成、音色设计、音效生成和实时流式 TTS，适合搭建多语言语音生成服务。
提供基于 GPU 加速和微服务架构的生成式 AI 参考工作流，涵盖 RAG、LLM 推理等场景，帮你在 Triton、TensorRT 等基础设施上快速搭建可落地的服务。
一套基于 LangChain 的 RAG 应用构建教程与代码集合，覆盖从基础检索增强到 Agentic RAG 的完整实现路径，帮你快速搭出带检索能力的问答机器人。
自托管的统一零信任安全访问平台，可同时充当远程访问 VPN、ZTNA、API/AI/MCP 网关和 PaaS，替代 ngrok 并统一管理内网与家庭实验室的基础设施访问。
基于 Spark 的分布式 NLP 库，把 BERT、LLM、ONNX 等模型封装成可直接调用的流水线，在集群上批量做命名实体识别、分词、翻译等任务。
纯 C++ 音频推理引擎，基于 ggml 实现，一套代码覆盖语音合成、识别、VAD、变声和音乐生成，不依赖 Python，适合边缘部署。
用 Python 编排多智能体协作来调用大模型，把任务拆给多个 Agent 分工完成，适合搭建需要工具调用和检索增强的 LLM 应用。
面向 Apple Silicon 的本地 LLM 推理服务器，兼容 OpenAI 与 Anthropic 接口，主打编码智能体的可靠工具调用，同权重下比 mlx-lm 快至多 4 倍。
把 ESP8266/ESP32 变成 MQTT 网关，双向桥接 433/315/868MHz 射频、红外、BLE 蓝牙和 LoRa 设备，让米家传感器、温湿度计、体重秤等接入 Home Assistant。
自托管的 CPA/CLIProxyAPI 管理面板，监控 AI 网关的请求、用量、成本、配额、失败和账号健康，帮团队看清调用开销与稳定性。
给 Claude Code 补上的可视化调试面板，能直观查看会话日志、工具调用、token 消耗、子代理和上下文窗口占用，方便排查 AI 编码代理的运行问题。
面向A股的多人智能体投研框架，接入龙虎榜、游资、解禁等本地数据源，让7位AI分析师按A股规则辩论并给出风险评估。
面向 AI Agent 的级联运行时，在 Agent 循环内按成本、延迟、质量和策略动态调度模型与决策，帮你在不牺牲效果的前提下省下推理开销。
基于 PyTorch 的自监督学习库，用对比学习和 JEPA 世界模型在无标注图像上训练表征，省去人工标注成本。
在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库，封装 llama.cpp，让 C# 开发者不用切 Python 就能做聊天和多模态推理。
面向 Postgres、MySQL、SQL Server、Oracle 等数据库的 MCP 服务器，让 Claude、Cursor 等 AI 编程助手能直接查询数据库，并控制上下文 token 消耗。
基于 faster-whisper 的语音转写服务，提供兼容 OpenAI API 的接口，用 Docker 一键部署即可获得本地语音识别与翻译能力。
基于飞桨的高性能推理部署工具包，专门用来把大语言模型和多模态模型跑起来、服务化，支持 ERNIE 系列和 OpenAI 兼容接口。
用 Go 重写的 AI Agent 编排网关，支持多租户隔离、五层安全防护和原生并发，适合大规模部署 Agent 团队。
为 Transformers、Diffusers 等模型提供硬件加速与量化、ONNX 导出等优化工具，让推理和训练在各类硬件上跑得更快。
开源的推理服务器与生产集群，统一部署 Agent 所需的各类模型，涵盖嵌入、检索与 LLM 推理，省去自建服务与运维的麻烦。
汇总 Prompt 与 LLM 相关论文、开源数据和模型，并整理 AIGC 应用案例，方便快速跟进提示工程与大模型研究进展。
系统梳理 GPU 架构、CUDA 编程、大模型基础与 AI Agent 的入门知识库，帮开发者补齐 AI 基础设施底层原理。
面向大型代码库的本地私有智能分析引擎，支持混合语义搜索、多语言依赖图、符号级影响分析和调用链追踪，可作为 MCP 或编辑器插件零配置接入，帮 AI 编程助手大幅减少 token 消耗和调用次数。