推理与服务
共 679 个仓库 · 一年内有推送
基于 Vosk 库的 Android 离线语音识别示例，无需联网即可在手机本地完成语音转文字，适合做端侧 ASR 集成参考。
一份 10 周、每天 30 分钟的 LLM 推理服务与优化学习路线，覆盖 vLLM、SGLang、量化、投机解码和基准测试，帮工程师系统入门推理加速。
基于 FastAPI 的语义文本搜索服务，用预计算嵌入和高级相似度算法快速检索，并通过 textract 支持多种文件格式。
自托管的 AI 网关，把 OpenAI、Claude、Gemini、Codex 等编码 CLI 统一到一个兼容端点，并提供多租户控制台、请求日志和费用配额管理。
提供 CUDA 加速的机器学习与信息检索基础算法和原语，方便快速搭建高性能应用，涵盖最近邻搜索、聚类、线性代数等常用模块。
Rust 编写的本地向量嵌入与重排库，无需调用外部 API 即可在本地生成文本向量并做检索结果重排，适合搭建 RAG 和向量检索。
基于 Python 的桌面语音助手，把语音识别和语音合成串起来，让你用说话的方式执行系统级命令、异步处理交互。
统一多模态模型的强化学习训练框架，打通 SGLang、vLLM 推理后端，方便把多模态大模型跑通 RL 训练流程。
把 Kaldi 语音识别工具包封装成 Python 接口，让你能在 Python 里直接调用 Kaldi 的特征提取、声学模型和语言模型，省去写 C++ 胶水代码的麻烦。
企业级 AI 资源纳管平台，用统一网关接入 OpenAI、Claude、DeepSeek 等主流模型，做 Token 调度、成本归因和安全审计，帮企业管住 AI 开销、算清 ROI。
开源本地语音听写工具，基于 Whisper 把说的话实时转成文字，不用联网也不上传隐私数据。
跨平台本地 AI 网关，让 Claude Code、Codex 等客户端无需改配置即可切换上游，隐藏真实 API Key，拦截恶意工具调用并追踪每次请求。
面向 Apple Silicon 的原生 SwiftUI 系统监控工具，无需 sudo 即可实时查看 ANE、媒体引擎和内存带宽占用，方便排查本地大模型推理时的硬件瓶颈。
基于 TensorFlow 2 的端到端语音识别框架，支持 Conformer、ContextNet、DeepSpeech2 等模型，可做字符或子词级多语言识别与流式推理。
基于下一代 Kaldi 的语音转文字服务端框架，支持流式与非流式识别，可通过 WebSocket 对外提供 ASR 服务。
Linux 上的离线语音听写工具，基于 whisper.cpp、Whisper 和 VOSK 引擎，支持 GPU 加速，在 X11 和 Wayland 下都能把说的话直接输入到任意应用。
自带 API Key 的语音记录助手，支持语音转写、说话人分离和 AI 摘要，还能接入本地 ASR 服务，适合注重隐私、想自己掌控模型的用户。
基于 OpenAI Whisper 的实时语音转写框架，接收连续音频流分块并即时输出增量转写结果，不用等整段音频上传完再处理。
面向开发者的 AI 学习路线图，系统梳理大模型训练、推理、强化学习与 Agent 等核心方向的概念、主流技术和前沿趋势，帮助从理论走到落地。
LanceDB 官方的示例与教程合集，用向量检索搭配大模型，演示多模态 RAG、Agent 和微调等场景的落地写法。
面向吞吐量优化的高性能 LLM 服务框架，通过 CUDA 加速提升大模型推理的并发处理能力。
一种简单又强大的大模型量化技术，通过可学习权重裁剪和等价变换，在保持精度的同时把 LLM 压到低比特，方便部署推理。
按最低套餐价格排序的托管服务清单，涵盖云主机、数据库、IaaS 和 LLM 推理等选项，方便按预算快速挑选合适的部署平台。
汇总音频 AI 领域的论文、开源模型、基准和数据集，覆盖音频大模型、语音识别、TTS、音乐与音频生成，方便按方向查找资料。