推理与服务
共 540 个仓库 · 近 4 个月有推送
把 OpenAI Whisper 封装成开箱即用的 Docker 语音识别 Web 服务，上传音频即可通过 API 拿到转写文本，省去自己搭推理服务的麻烦。
用 LLM 驱动的网页抓取工具，支持 OpenAI、Gemini 和 Ollama，能按自然语言指令从网页中提取结构化数据，省去手写解析规则。
轻量级 Python 向量化库，无需 API 调用即可在本地快速生成高质量文本嵌入，适合 RAG 和向量检索场景。
面向开发者的开源 LLMOps 平台，把提示词设计、版本管理、即时下发、团队协作和可观测性串成一条流水线，省去自己拼凑工具的成本。
用 Rust 写的高性能 AI 模型推理引擎，支持 LLM 和语音合成，并针对 Metal 做加速，适合在本地或服务端跑模型推理。
本地运行的开源 AI 会议助手与面试副驾，提供实时转写、会议笔记、讲座录音和本地 RAG，支持自带密钥，无需订阅。
Skywork-R1V 是昆仑万维开源的多模态视觉语言推理模型系列，基于强化学习训练，擅长图像理解与复杂推理任务。
用 Rust 写的便携式 SQL 查询、搜索与 LLM 推理引擎，给业务数据库加一个实时分析节点，让 AI 应用和智能体直接基于数据做推理。
macOS 上的本地语音听写应用，基于 Whisper 和 Parakeet 模型把语音实时转成文字，适合想要离线、隐私友好的语音输入用户。
自托管的本地语音助手，对标 Amazon Echo 和 Google Home，用 ESP32 硬件加语音识别在本地完成唤醒与语音转文字，数据不出户，适合注重隐私的智能家居场景。
把家里的多台设备连成集群来跑 LLM 推理，设备越多推理越快，用 C++ 实现分布式加速。
用容器方式在本地跑 AI 模型推理的开发工具，屏蔽不同模型来源和硬件差异，一条命令就能起服务并用于生产。
本地运行的语音转文字工具，带网页界面，用 Whisper 模型把任意音频转成文本，还能翻译和编辑字幕，全程数据不出本机。
面向大模型推理与 GPU 训练的高性能存储引擎，用 Rust 编写，通过 RDMA 等技术提升模型加载和服务吞吐。
让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。
Pinecone 官方示例仓库，用 Jupyter Notebook 演示向量数据库的建库、检索和 RAG 语义搜索流程，适合快速上手实践。
PyTorch 官方的量化与稀疏化工具库，支持训练和推理阶段的低精度计算，覆盖 float8、MX 等数据类型，可加速 Transformer 和 Llama 等大模型。
用大模型对 Tesseract 的 OCR 结果做纠错、智能分块和 Markdown 排版，把扫描 PDF 转成干净可读的文本，支持本地或 API 模型。
给 JADX 反编译工具加装 MCP 服务端插件，让大模型能直接读取和分析反编译出的 Java 代码，辅助逆向工程与安全审计。
基于 PySide6 的 faster-whisper 图形界面，让语音转文字不用敲命令行，支持 VAD 和 WhisperX 等能力。
面向大语言模型的高性能推理框架，主打高效、灵活和易用，支持 DeepSeek 等模型在 GPU 上做推理服务部署。
面向文本嵌入、重排、CLIP、CLAP 和 ColPali 模型的高吞吐低延迟推理服务引擎，适合把向量化和重排模型部署成线上 API。
把韩文 HWP/HWPX、PDF、Office 和扫描件统一转成 Markdown，还能做新旧对照、保留格式编辑、回写 HWPX 和公文校验，提供库、CLI 和 MCP 接口。
面向 Blackwell 架构 GPU 的高速 LLM 推理引擎，支持 DeepSeek、Kimi、GLM 等模型，主打极致推理吞吐与低延迟。