推理与服务
共 751 个仓库
统一多模态模型的强化学习训练框架，打通 SGLang、vLLM 推理后端，方便把多模态大模型跑通 RL 训练流程。
把 Kaldi 语音识别工具包封装成 Python 接口，让你能在 Python 里直接调用 Kaldi 的特征提取、声学模型和语言模型，省去写 C++ 胶水代码的麻烦。
企业级 AI 资源纳管平台，用统一网关接入 OpenAI、Claude、DeepSeek 等主流模型，做 Token 调度、成本归因和安全审计，帮企业管住 AI 开销、算清 ROI。
开源本地语音听写工具，基于 Whisper 把说的话实时转成文字，不用联网也不上传隐私数据。
面向 Apple Silicon 的原生 SwiftUI 系统监控工具，无需 sudo 即可实时查看 ANE、媒体引擎和内存带宽占用，方便排查本地大模型推理时的硬件瓶颈。
基于 TensorFlow 2 的端到端语音识别框架，支持 Conformer、ContextNet、DeepSpeech2 等模型，可做字符或子词级多语言识别与流式推理。
基于下一代 Kaldi 的语音转文字服务端框架，支持流式与非流式识别，可通过 WebSocket 对外提供 ASR 服务。
Linux 上的离线语音听写工具，基于 whisper.cpp、Whisper 和 VOSK 引擎，支持 GPU 加速，在 X11 和 Wayland 下都能把说的话直接输入到任意应用。
自带 API Key 的语音记录助手，支持语音转写、说话人分离和 AI 摘要，还能接入本地 ASR 服务，适合注重隐私、想自己掌控模型的用户。
基于 OpenAI Whisper 的实时语音转写框架，接收连续音频流分块并即时输出增量转写结果，不用等整段音频上传完再处理。
跨平台本地 AI 网关，让 Claude Code、Codex 等客户端无需改配置即可切换上游，隐藏真实 API Key，拦截恶意工具调用并追踪每次请求。
面向开发者的 AI 学习路线图，系统梳理大模型训练、推理、强化学习与 Agent 等核心方向的概念、主流技术和前沿趋势，帮助从理论走到落地。
LanceDB 官方的示例与教程合集，用向量检索搭配大模型，演示多模态 RAG、Agent 和微调等场景的落地写法。
面向吞吐量优化的高性能 LLM 服务框架，通过 CUDA 加速提升大模型推理的并发处理能力。
一种简单又强大的大模型量化技术，通过可学习权重裁剪和等价变换，在保持精度的同时把 LLM 压到低比特，方便部署推理。
按最低套餐价格排序的托管服务清单，涵盖云主机、数据库、IaaS 和 LLM 推理等选项，方便按预算快速挑选合适的部署平台。
汇总音频 AI 领域的论文、开源模型、基准和数据集，覆盖音频大模型、语音识别、TTS、音乐与音频生成，方便按方向查找资料。
HQQ 是一种无需校准数据的大模型量化方法，官方实现支持几行代码把 LLM 压到低比特，省显存还能保持精度。
用自托管 Whisper 配合 WebSocket 做近实时语音转写，Python 后端加 JS 前端，适合自己搭一套低延迟的语音识别服务。
把 OpenVINO 优化过的模型部署成可扩展推理服务的服务器，支持云端和边缘、Kubernetes 与 DAG 流水线，方便生产环境上线模型。
基于 Whisper 模型的 .NET 语音识别库，跨平台支持语音转文字与翻译，还内置 VAD 语音活动检测，方便在 C# 项目里直接接入。
开箱即用的自托管离线转录与说话人分离服务，集成 WhisperX 和本地 LLM 自动生成会议摘要，数据不出内网。
纯 C++ 实现的大模型推理引擎，无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。
原生 macOS 上的全能 AI 聊天客户端，一个界面就能接入 ChatGPT、Claude、Gemini、DeepSeek 等各家大模型服务，省去在多个网页和工具间来回切换。