推理与服务
共 751 个仓库
基于 PySide6 的 faster-whisper 图形界面，让语音转文字不用敲命令行，支持 VAD 和 WhisperX 等能力。
面向大语言模型的高性能推理框架，主打高效、灵活和易用，支持 DeepSeek 等模型在 GPU 上做推理服务部署。
面向文本嵌入、重排、CLIP、CLAP 和 ColPali 模型的高吞吐低延迟推理服务引擎，适合把向量化和重排模型部署成线上 API。
把韩文 HWP/HWPX、PDF、Office 和扫描件统一转成 Markdown，还能做新旧对照、保留格式编辑、回写 HWPX 和公文校验，提供库、CLI 和 MCP 接口。
面向 Blackwell 架构 GPU 的高速 LLM 推理引擎，支持 DeepSeek、Kimi、GLM 等模型，主打极致推理吞吐与低延迟。
给 Whisper 语音识别模型套上 Gradio 网页界面，上传音视频就能自动生成字幕，省去命令行操作。
Archived: legacy Swift Hex app. New app and source: github.com/anomalyco/hex
一个命令行工具，通过 OAuth 代理在 Claude 多账号、Gemini、Copilot 和 OpenRouter 的 300+ 模型之间快速切换，带可视化面板和远程代理支持，零配置即可上手。
Lingvo 是 Google 开源的序列建模框架，用 TensorFlow 搭建语音识别、机器翻译、语言模型等 NLP 任务，支持分布式 GPU 训练。
基于 Whisper 的多语言语音识别工具，能输出词级时间戳和置信度，方便做字幕对齐和逐词定位。
给 Claude Code、Codex 等 AI 编码代理提供持久化统一记忆层，用 Markdown 存内容、Milvus 做向量检索，让代理跨会话记住上下文。
给 paperless-ngx 文档管理系统接上大模型，用 LLM 和视觉 OCR 自动识别扫描件内容、生成标题和标签，让文档数字化更省事。
把 Claude、Codex 等多家 LLM 的 API 统一成一个入口的聚合网关，方便个人集中管理和切换不同模型服务。
一个用 Rust 写的 API 平台，把搜索、推荐、RAG 和数据分析打包在一起，底层接 PostgreSQL 和 Qdrant 向量库，省去自己拼装检索链路的麻烦。
用 Go 写的高性能无状态声明式 API 网关，把后端微服务统一收口，负责路由、聚合和协议转换，适合云原生场景做统一入口。
在 Mac 上跑 Qwen 3.8 等大模型的原生推理引擎，靠 MTP 投机解码把速度拉到 125 tok/s，16GB 内存也能跑 27B 模型，并提供 OpenAI/Anthropic 兼容的本地服务。
输入一个主题就能自动生成 Vox 风格的拼贴解说视频，从脚本、素材到 ffmpeg 合成全流程跑通，适合做科普短视频。
让大参数 Qwen 模型在消费级显卡上跑得动、跑得快：通过 vLLM 补丁和重量化流水线，单张 24GB 卡即可服务 27B 模型，并附完整基准测试。
微软推出的本地 AI 推理运行时，基于 ONNX Runtime 在设备端跑聊天补全和语音转文字模型，支持 GPU 加速，不用联网也能用。
Hugging Face 官方 JavaScript 客户端库，让前端和 Node.js 项目直接调用 Hub 模型管理、推理 API 等能力，无需自己封装 HTTP 请求。
EAGLE 系列投机解码算法的官方实现，通过草稿模型加速大语言模型推理，在几乎不损失生成质量的前提下显著提升吞吐。
把音视频内容快速转成结构化 Markdown 笔记，先用 ASR 转写，再交给大模型整理成条理清晰的文本。
把任意电脑或边缘设备变成计算机视觉推理服务器，一条命令部署目标检测、分类、实例分割等模型，省去自己搭服务的麻烦。
开源复现并扩展 Google Research 的 PaperBanana，用多智能体自动生成学术论文配图、示意图和研究可视化，还能做幻灯片。