推理与服务
共 751 个仓库
用 Rust 写的高性能 AI 模型推理引擎，支持 LLM 和语音合成，并针对 Metal 做加速，适合在本地或服务端跑模型推理。
本地运行的开源 AI 会议助手与面试副驾，提供实时转写、会议笔记、讲座录音和本地 RAG，支持自带密钥，无需订阅。
免装 Python 的 Whisper 与 Faster-Whisper 独立可执行程序，解压即用，直接做语音转文字、字幕生成和说话人分离。
Ruby 生态里调用 OpenAI API 的客户端库，封装 GPT-5、Realtime WebRTC、Whisper、DALL·E 等接口，让 Rails 项目直接接入对话、语音和图像能力。
The Security Toolkit for LLM Interactions
把 PDF、Word、PPTX 等文档和图片通过 OCR 加 Ollama 模型解析成结构化 JSON 或 Markdown，还能自动匿名化、清除 PII 敏感信息。
Skywork-R1V 是昆仑万维开源的多模态视觉语言推理模型系列，基于强化学习训练，擅长图像理解与复杂推理任务。
Sparsity-aware deep learning inference runtime for CPUs
用 Rust 写的便携式 SQL 查询、搜索与 LLM 推理引擎，给业务数据库加一个实时分析节点，让 AI 应用和智能体直接基于数据做推理。
macOS 上的本地语音听写应用，基于 Whisper 和 Parakeet 模型把语音实时转成文字，适合想要离线、隐私友好的语音输入用户。
自托管的本地语音助手，对标 Amazon Echo 和 Google Home，用 ESP32 硬件加语音识别在本地完成唤醒与语音转文字，数据不出户，适合注重隐私的智能家居场景。
把家里的多台设备连成集群来跑 LLM 推理，设备越多推理越快，用 C++ 实现分布式加速。
用容器方式在本地跑 AI 模型推理的开发工具，屏蔽不同模型来源和硬件差异，一条命令就能起服务并用于生产。
本地运行的语音转文字工具，带网页界面，用 Whisper 模型把任意音频转成文本，还能翻译和编辑字幕，全程数据不出本机。
面向大模型推理与 GPU 训练的高性能存储引擎，用 Rust 编写，通过 RDMA 等技术提升模型加载和服务吞吐。
Data framework for your LLM applications. Focus on server side solution
让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。
一套用来测试和实验提示词的开源工具，支持 OpenAI、LLaMA 等大模型以及 Chroma、Weaviate 等向量数据库，方便对比不同提示词的效果。
一个超小型的通用音频模型，用同一套权重同时完成语音识别、语音合成和音色转换，省去为每种任务单独部署模型。
Pinecone 官方示例仓库，用 Jupyter Notebook 演示向量数据库的建库、检索和 RAG 语义搜索流程，适合快速上手实践。
PyTorch 官方的量化与稀疏化工具库，支持训练和推理阶段的低精度计算，覆盖 float8、MX 等数据类型，可加速 Transformer 和 Llama 等大模型。
面向 .NET 开发者的 OpenAI API 封装库，可在 C# 项目里直接调用 ChatGPT、DALL·E、Whisper 和 Azure OpenAI 服务。
用大模型对 Tesseract 的 OCR 结果做纠错、智能分块和 Markdown 排版，把扫描 PDF 转成干净可读的文本，支持本地或 API 模型。
给 JADX 反编译工具加装 MCP 服务端插件，让大模型能直接读取和分析反编译出的 Java 代码，辅助逆向工程与安全审计。