推理与服务
共 540 个仓库 · 近 4 个月有推送
汇总深度学习、强化学习、计算机视觉和 NLP 等方向的优质公开课与讲座资源，适合系统入门或查漏补缺。
开箱即用的语音工具包，覆盖流式语音识别、语音合成、声纹识别、语音翻译和关键词唤醒，自带标点恢复与文本前端，适合快速搭建语音推理服务。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
提供文本嵌入与重排模型，用于语义检索和 RAG 场景，把文档和查询转成向量并做相关性排序。
基于 PyTorch 的开源语音工具包，覆盖语音识别、说话人识别与分离、语音增强等任务，提供预训练模型和训练流程，方便快速搭建语音系统。
用纯 C99 从零实现的 Kimi K3 推理引擎，单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型，不依赖 BLAS、框架或 GPU。
超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。
Brigade 是一个 TypeScript 编写的自主智能体运行时，用来编排多智能体协作（AI crew），把个人 AI 助手做成企业级可靠的服务。
本地跑实时语音转文字，带流式识别、说话人分离和翻译，还兼容 OpenAI/Deepgram 接口，适合自建低延迟转写服务。
跨平台语音转文字听写应用，支持本地 Nvidia Parakeet/Whisper 模型和自带密钥的云端模型，主打隐私优先。
面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。
Amazon SageMaker 官方示例集，用 Jupyter Notebook 演示如何构建、训练和部署机器学习模型，适合上手 MLOps 全流程。
开源 API 与 AI 网关，统一代理 REST、GraphQL、TCP、gRPC 和 MCP 流量，帮你在微服务和 LLM 调用前做路由、鉴权与限流。
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」，自动选最便宜的可用算力跑训练、微调和推理任务，省去手动比价与跨云管理。
基于 PyTorch 的 YOLOv3 系列实现，覆盖训练、验证、推理全流程，并支持导出 ONNX、CoreML、TensorRT 等多种格式，方便做实时目标检测和边缘部署。
端到端语音处理工具箱，覆盖语音识别、合成、翻译、增强、分离和说话人日志等任务，基于 PyTorch 提供统一训练与推理流程。
SeaTunnel 是高性能分布式数据集成工具，支持批处理、CDC 变更捕获和多模态数据接入，用于海量数据在异构系统间高效同步。
基于 Envoy 的云原生 AI 网关，统一代理和路由大模型 API 与微服务流量，支持 AI 原生插件扩展。
多语种语音理解模型，一次推理就能完成中英日韩粤语音识别、语种判别、情绪识别和音频事件检测，适合做语音交互与音频分析。
一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。
高性能 AI 网关，用一套 OpenAI 兼容 API 统一接入上万模型，内置故障转移、负载均衡、语义缓存、虚拟密钥与预算管控，额外延迟低于 200µs。
用纯 RNN 架构的 RWKV 语言模型驱动的开源聊天机器人，效果对标 ChatGPT，可在本地部署运行。
汇总全球优质大模型学习资料，覆盖多模态生成、Agent、辅助编程、模型训练与推理、RAG 等方向，帮开发者快速找到教程、课程和实战资源。
Python 语音识别库，统一封装多种在线和离线引擎与 API，几行代码就能把音频转成文字，省去逐个对接各家服务的麻烦。