推理与服务
共 679 个仓库 · 一年内有推送
自托管的 AI API 与 MCP 网关，给企业统一管控大模型调用：SSO/RBAC、按用户身份鉴权、PII 脱敏、工具调用防护、限流预算与成本审计。
把语音识别成文字再转成语音，并通过 OSC 消息把文本推到 VRChat 头像聊天框显示，还能播报当前歌曲。
一套 TensorRT C++ API 实战教程，演示如何用 C++ 加载 ONNX 模型并构建高性能推理引擎，适合想在工程里落地 GPU 推理的开发者。
高质量、可靠的 TTS/STT 库，在服务端和浏览器里都能用，统一封装 Edge、微软、OpenAI 等语音接口，省去逐个对接的麻烦。
把 whisper.cpp 封装成 React Native 原生模块，让移动端 App 直接跑 OpenAI Whisper 语音识别，无需联网或自建服务。
用 Rust 写的 RDNA 原生大模型推理引擎，直接跑在 AMD GPU 上，让 RDNA 显卡也能高效做 LLM 推理和量化。
基于 ggml 的 C++ 语音推理运行时，统一跑 Cohere Transcribe、Parakeet TDT、Voxtral、Canary 等多语言 ASR 与 TTS 模型，还带通用强制对齐。
完全本地运行的私密语音转文字应用，支持多种模型后端、说话人分离和日历模式，覆盖 Windows、macOS 和 Linux。
用 Rust 写的高性能 RAG 与 LLM 应用框架，支持流式索引、检索和智能体编排，适合构建低延迟的检索增强生成服务。
基于 Spring AI 和 Spring Boot 的 Java 示例集，演示如何接入 OpenAI、Ollama 等模型，实现 RAG、向量嵌入等生成式 AI 应用。
一套面向音频处理的深度学习实战代码集，覆盖语音识别、说话人验证、关键词唤醒、语音合成与音色转换等任务，可直接参考实现来训练和微调模型。
基于 VS Code 改造的开源 AI 代码编辑器，集成 ChatGPT、Claude 等大模型，支持对话式编程与代码生成。
在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型，自研 JAX 推理引擎支持 262k 长上下文和前缀缓存，可接入 Claude Code 等编码代理。
基于 CrewAI 多智能体协作的视频剪辑助手，自动完成视频下载、语音转写和片段剪辑，适合批量产出短视频素材。
在本地网络内用开源大模型完成文件摄取与检索增强生成，数据不出内网、不依赖第三方服务。
开源本地 AI SDK，无需云端和 API Key 即可在设备端跑 GGUF 模型，集成 RAG、图像音乐视频生成、语音转写和 P2P 推理，覆盖桌面与移动端。
用 Rust 把 SQL 当函数调用的嵌入式数据库，自带类型安全 ORM，存储层可插拔 LMDB 或 RocksDB，适合在应用内直接做 OLTP 查询。
用 Rust 写的代码智能 CLI，为 AI 编程助手构建调用图和混合语义检索索引，支持 7 种语言，并以原生 MCP 工具接入 Claude Code 和 Codex CLI。
macOS 上选中文字后弹出操作菜单，可跑自定义脚本、AI 动作和可扩展工作流，把剪贴板与 LLM 调用串起来。
微软 Foundry 的示例、文档与加速器合集，用 Jupyter Notebook 演示 Azure OpenAI、ChatGPT、DALL·E、嵌入模型等服务的调用方式。
轻量级 AI RSS 阅读器，用大模型自动摘要和筛选订阅内容，可一键部署到 GitHub Pages、Vercel、阿里云 ESA Pages 或 Docker 自托管。
纯 Rust + CUDA 实现的大模型推理引擎，不依赖 PyTorch，兼容 OpenAI 接口，可部署 Qwen3 到 Kimi-K2 等模型。
在 Apple Silicon 上通过 MLX 原生实现 DeepSeek DSpark 与 DFlash 投机解码，让本地大模型推理最高提速 4 倍且无损，兼容 Gemma、Qwen、Nemotron 等模型。
汇集大语言模型自定义训练与推理的教程、最佳实践和可直接运行的代码，基于 HuggingFace 和 Transformers，帮开发者快速上手 BERT 等模型的微调与部署。