推理与服务
共 679 个仓库 · 一年内有推送
面向创作者和开发者的 Gradio 语音工作台，集成多引擎 TTS、零样本声音克隆、Whisper 转写、人声分离与多语言翻译，一站式完成配音和字幕制作。
面向 JVM 的 Java LLM 应用开发库，统一封装主流大模型与向量库接口，让工具调用、Agent 和 RAG 在 Spring Boot、Quarkus 等企业框架里快速落地。
一个高性能 AI 网关，用统一 API 把请求路由到 1600+ 大模型，并内置 50+ 安全护栏，省去多模型接入和内容风控的重复开发。
冰霜之地的技术博客合集，深入拆解 Go、HTTP/2、密码学、算法与机器学习等源码，适合想系统啃底层实现和系统设计的工程师。
从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。
面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。
汇总深度学习、强化学习、计算机视觉和 NLP 等方向的优质公开课与讲座资源，适合系统入门或查漏补缺。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
把任意代码库自动转成通俗易懂的教程，基于 Pocket Flow 的 LLM 工作流实现，适合快速理解陌生项目结构。
开箱即用的语音工具包，覆盖流式语音识别、语音合成、声纹识别、语音翻译和关键词唤醒，自带标点恢复与文本前端，适合快速搭建语音推理服务。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
提供文本嵌入与重排模型，用于语义检索和 RAG 场景，把文档和查询转成向量并做相关性排序。
在任意网址前加上 https://r.jina.ai/ 前缀，就能把网页转成适合大模型读取的干净文本，省去自己写爬虫和清洗正文的麻烦。
把 FastAPI 接口一键暴露成 MCP 工具，自带认证授权，让 Claude、Cursor 等 LLM 客户端直接调用你的后端服务。
基于 PyTorch 的开源语音工具包，覆盖语音识别、说话人识别与分离、语音增强等任务，提供预训练模型和训练流程，方便快速搭建语音系统。
用纯 C99 从零实现的 Kimi K3 推理引擎，单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型，不依赖 BLAS、框架或 GPU。
超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。
Brigade 是一个 TypeScript 编写的自主智能体运行时，用来编排多智能体协作（AI crew），把个人 AI 助手做成企业级可靠的服务。
本地跑实时语音转文字，带流式识别、说话人分离和翻译，还兼容 OpenAI/Deepgram 接口，适合自建低延迟转写服务。
跨平台语音转文字听写应用，支持本地 Nvidia Parakeet/Whisper 模型和自带密钥的云端模型，主打隐私优先。
面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。
Amazon SageMaker 官方示例集，用 Jupyter Notebook 演示如何构建、训练和部署机器学习模型，适合上手 MLOps 全流程。
开源 API 与 AI 网关，统一代理 REST、GraphQL、TCP、gRPC 和 MCP 流量，帮你在微服务和 LLM 调用前做路由、鉴权与限流。
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」，自动选最便宜的可用算力跑训练、微调和推理任务，省去手动比价与跨云管理。