推理与服务
共 679 个仓库 · 一年内有推送
基于 PyTorch 的 YOLOv3 系列实现，覆盖训练、验证、推理全流程，并支持导出 ONNX、CoreML、TensorRT 等多种格式，方便做实时目标检测和边缘部署。
端到端语音处理工具箱，覆盖语音识别、合成、翻译、增强、分离和说话人日志等任务，基于 PyTorch 提供统一训练与推理流程。
面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。
SeaTunnel 是高性能分布式数据集成工具，支持批处理、CDC 变更捕获和多模态数据接入，用于海量数据在异构系统间高效同步。
基于 Envoy 的云原生 AI 网关，统一代理和路由大模型 API 与微服务流量，支持 AI 原生插件扩展。
多语种语音理解模型，一次推理就能完成中英日韩粤语音识别、语种判别、情绪识别和音频事件检测，适合做语音交互与音频分析。
一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。
高性能 AI 网关，用一套 OpenAI 兼容 API 统一接入上万模型，内置故障转移、负载均衡、语义缓存、虚拟密钥与预算管控，额外延迟低于 200µs。
用纯 RNN 架构的 RWKV 语言模型驱动的开源聊天机器人，效果对标 ChatGPT，可在本地部署运行。
一份持续更新的异常检测资源大全，汇总书籍、论文、视频和工具箱，覆盖传统方法与最新的 LLM、VLM 工作，适合快速入门和跟进前沿。
企业级多租户 LLM 网关，统一接入 200+ 模型和 35+ 供应商，带负载均衡、计费订阅和成本管理，适合团队统一管理 AI 调用。
汇总全球优质大模型学习资料，覆盖多模态生成、Agent、辅助编程、模型训练与推理、RAG 等方向，帮开发者快速找到教程、课程和实战资源。
Python 语音识别库，统一封装多种在线和离线引擎与 API，几行代码就能把音频转成文字，省去逐个对接各家服务的麻烦。
让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。
GitMCP 是一个免费开源的远程 MCP 服务器，可为任意 GitHub 项目提供代码上下文，让 Claude、Cursor 等 AI 编程助手减少代码幻觉。
基于深度学习的中文语音识别系统，用 CNN+CTC 把中文语音转成文字，适合搭建本地语音转写服务。
给 AI Agent 运行框架加上可观测与策略执行层，记录每次运行轨迹，并实时拦截违规行为，提升运行时可靠性。
聊天回复前的决策助手：读取聊天内容判断对方意图和风险，一键生成草稿供你确认后发送，支持 Android、Windows、macOS、iOS。
给 LLM 加一层语义缓存，相似问题直接命中缓存结果，省下重复调用 API 的钱和时间，已集成 LangChain 和 llama_index。
用 Swift 写的原生 macOS AI 智能体运行环境，可接入任意模型，支持持久记忆、自主执行和加密身份，全程离线运行。
LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。
跨平台桌面端语音转写工具，基于 Whisper 在本地把音视频转成文字，不用上传云端，隐私和离线场景都能用。
ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit，基于 PaddlePaddle，支持大语言模型和多模态模型的训练、微调与推理部署。