推理与服务
共 540 个仓库 · 近 4 个月有推送
汇总音频 AI 领域的论文、开源模型、基准和数据集，覆盖音频大模型、语音识别、TTS、音乐与音频生成，方便按方向查找资料。
用自托管 Whisper 配合 WebSocket 做近实时语音转写，Python 后端加 JS 前端，适合自己搭一套低延迟的语音识别服务。
把 OpenVINO 优化过的模型部署成可扩展推理服务的服务器，支持云端和边缘、Kubernetes 与 DAG 流水线，方便生产环境上线模型。
基于 Whisper 模型的 .NET 语音识别库，跨平台支持语音转文字与翻译，还内置 VAD 语音活动检测，方便在 C# 项目里直接接入。
纯 C++ 实现的大模型推理引擎，无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。
原生 macOS 上的全能 AI 聊天客户端，一个界面就能接入 ChatGPT、Claude、Gemini、DeepSeek 等各家大模型服务，省去在多个网页和工具间来回切换。
基于 FastAPI 的 RAG 服务，用 LangChain 对接 PostgreSQL 和 pgvector，按 ID 管理知识库，方便快速搭建检索增强生成后端。
基于 Tauri 和 Rust 的轻量级跨平台 AI 桌面客户端，集对话、Agent 与 AI 网关于一体，统一接入和管理多个模型服务。
Telegram 机器人，能把群聊和私聊里的语音消息自动转成文字，省去手动听写，适合会议记录和消息归档。
基于微调 Whisper 模型提供语音转文字 API，支持用户级权限控制，方便把 ASR 能力接入自己的应用。
面向语音识别任务的基础模型，支持自监督预训练，可完成语音转写与情感识别，适合搭建俄语等多场景语音推理服务。
Azure AI Search 向量检索功能的官方代码示例集，涵盖嵌入生成、索引构建与查询，帮开发者快速接入向量搜索。
Kubernetes 上的 LeaderWorkerSet API，用来编排多机多卡的分布式推理工作负载，把大模型服务拆成 leader 和 worker 组统一调度。
高性能机器学习模型服务框架，支持动态批处理和 CPU/GPU 流水线，把单机算力充分利用起来，适合部署 CV、LLM 等模型。
面向流式和端侧场景优化的 Whisper 语音识别模型，支持 Apple Silicon、CoreML、MLX 和 NVIDIA GPU，可做实时转写与翻译。
自托管的开源 AI 网关，把 40 多家模型提供商统一到一个接口，并自带虚拟密钥、预算控制和用量统计，省去多平台对接与成本管理麻烦。
一份系统梳理大模型推理的学习笔记，涵盖 Transformer 结构、KV Cache、CUDA 与 Triton 算子编程，以及 vLLM 等框架的源码分析。
抓取系统音频和麦克风，用 Whisper/SenseVoice 做语音识别，再通过 LLM API 流式翻译并实时显示字幕，适合主播、VTuber 和看外语视频时用。
基于 GPU 的向量检索与聚类库，为近似最近邻搜索和相似度计算提供 CUDA 加速，适合大规模向量数据和 LLM 检索场景。
基于并行图计算的高性能向量数据库，用于存储和检索 embedding 向量，支撑语义搜索与 LLM 应用。
基于 Kotlin 的 Android 语音输入法，把 LLM 和 ASR 结合起来，说话就能转文字并智能润色，支持豆包、Whisper、Qwen-ASR 等后端。
把个人简历做成可对话的交互式网页，访客能直接向 AI 头像提问工作经历，背后用 Claude API 驱动并接入 Langfuse 做可观测。
C# 高性能自然语言处理库，借鉴 spaCy 设计，内置预训练模型，支持词与文档嵌入训练及灵活实体识别。
一款跨平台桌面应用，能基于本地文件用 AI 写作和分析，逐句核对引用与数据后导出 Word，还支持会议记录。