关键词：本地推理
描述或关键词里包含「本地推理」的项目，共 96 个。找不到想要的？试试完整搜索。
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
基于节点图的扩散模型图形界面与后端，支持本地快速推理和 API 调用，方便搭建和调试图像生成工作流。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。
开源 AI 语音工作室，支持声音克隆、语音听写和语音生成，基于 Qwen3-TTS 与 Whisper，可在 CUDA 或 MLX 上本地运行。
在本地电脑上离线运行大模型的桌面客户端，是 ChatGPT 的开源替代品，无需联网即可对话，数据不出本机。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。
本地运行的网络录像机，接入 IP 摄像头后实时做目标检测，识别到人、车等对象再触发录像和 MQTT 通知，画面不出家门。
本地运行的 AI 会议记录工具，用 Whisper/Parakeet 在设备上完成转写和说话人分离，不需要会议机器人，会议内容不出本机。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
跨平台语音转文字听写应用，支持本地 Nvidia Parakeet/Whisper 模型和自带密钥的云端模型，主打隐私优先。
一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。
本地优先的深度研究问答系统，接 llama.cpp、Ollama 等本地或云端模型，聚合 arXiv、PubMed 及私有文档等十余个检索源，全程加密。
Android 上能力最强的 AI Agent 与聊天软件，支持本地 llama/MNN 模型和终端操作，让手机直接跑智能体任务。
基于苹果 MLX 框架的语音处理库，在 Apple Silicon 上高效完成语音合成、语音识别和语音转换，适合本地跑多模态语音任务。
用 Swift 写的原生 macOS AI 智能体运行环境，可接入任意模型，支持持久记忆、自主执行和加密身份，全程离线运行。
跨平台桌面端语音转写工具，基于 Whisper 在本地把音视频转成文字，不用上传云端，隐私和离线场景都能用。
在 Apple Silicon 上通过 MLX 框架运行大语言模型，支持加载、推理和微调，让 Mac 本地跑 LLM 更省心。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。
基于 Python 的开源离线翻译库，用本地语言模型完成多语种互译，无需联网即可在自有设备上跑机器翻译。
用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索，跨 Mac、Windows、Linux 的桌面文件检索工具。
跨 macOS、Windows、Linux 的本地语音听写工具，用 Rust 编写，把说的话实时转成文字，全程离线运行，不上传云端。
本地大模型推理服务的模型热切换代理，按需自动加载和卸载不同模型，让单个服务端同时对外提供多个 LLM，省去手动重启。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
开箱即用的视频扩散模型工具箱，支持文生视频和图生视频，重点解决高质量视频训练数据不足的问题。
在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库，封装 llama.cpp，让 C# 开发者不用切 Python 就能做聊天和多模态推理。
轻量级 Python 向量化库，无需 API 调用即可在本地快速生成高质量文本嵌入，适合 RAG 和向量检索场景。
macOS 上的本地语音听写应用，基于 Whisper 和 Parakeet 模型把语音实时转成文字，适合想要离线、隐私友好的语音输入用户。
开源的 AI 摄像头与 NVR 监控平台，用本地 VLM 和 YOLO 做视频分析，并通过 Telegram、Discord、Slack 推送智能安防告警。
用容器方式在本地跑 AI 模型推理的开发工具，屏蔽不同模型来源和硬件差异，一条命令就能起服务并用于生产。
基于 Kokoro 模型和 ONNX Runtime 的轻量级语音合成方案，用 Python 就能在本地跑出高质量 TTS，省去复杂环境配置。
在自己的 GPU 上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax-M3.1-Flash 等大模型，统一引擎加可视化面板，兼容 OpenAI 与 Anthropic 接口。
一个跨平台本地大模型聊天客户端，通过统一界面连接 llama.cpp 本地模型以及 Anthropic、OpenAI、DeepSeek、Ollama 等远程服务。
微软推出的本地 AI 推理运行时，基于 ONNX Runtime 在设备端跑聊天补全和语音转文字模型，支持 GPU 加速，不用联网也能用。
一键把视频和图片转成 3D Gaussian Splatting 模型的本地桌面应用，不用命令行和云端，适合快速做三维重建。
用 Rust 写的本地 AI 模型运行时，支持 Llama、Mistral 等模型的推理、约束生成和语音转写，方便在本地快速搭建可控的 AI 应用。
在 Node.js 里直接跑 llama.cpp 的绑定库，支持 GPU 加速和 GGUF 模型，还能在生成阶段强制模型按 JSON Schema 输出，方便做结构化抽取和函数调用。
在 Vim 编辑器里接入本地 LLM 做代码和文本补全的插件，基于 llama.cpp 实现，无需联网即可获得类 Copilot 的补全体验。
面向 Apple Silicon 的本地大模型推理引擎，围绕模型本身做优化，让 Mac 上跑编码智能体和 LLM 推理更快更省资源。
在安卓手机上本地跑 Real-ESRGAN、Real-CUGAN、Waifu2x 等超分模型，把模糊图片放大变清晰，还支持插值和多种缩放算法。
在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。
专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎，几分钟内就能在 AMD NPU 上跑起 LLM，省去繁琐配置。
让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。
本地运行的 AI 聊天应用与推理引擎，基于 llama.cpp 加载 GGUF 开源权重模型，完全离线、保护隐私，支持 Apple Silicon 桌面端。
本地运行的代码语义搜索与调用图工具，让 AI 编程助手在不上传代码的前提下理解仓库结构、定位相关代码。
在 Unity 游戏引擎里直接跑本地大模型，让 NPC 和角色能自然对话，不用接云端 API。
OBS 直播插件，用本地 Whisper 模型实时做语音识别和字幕，不用把音频传到云端，直播时也能直接出字幕。
在 VS Code 里接入本地 LLM 做代码和文本补全的扩展，让编辑器具备类似 Copilot 的补全能力，同时数据不必离开本机。
在 macOS 原生应用里直接和本地 LLaMA 模型对话，支持 llama.cpp，不用折腾命令行就能跑起来。
本地或自托管运行 29 个开放决策模型家族的推理服务，兼容 Jev API，现有 TypeSafe SDK 改个 base URL 就能接入。
OuteTTS 模型的推理接口，支持 GGUF 和 Transformers 后端，方便本地跑文本转语音。
用 Rust 写的高性能嵌入推理与索引库，支持从多种数据源摄取内容、本地跑 ONNX 模型生成向量并建索引，适合搭建生产级检索管线。
在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型，用同一端口同时提供 OpenAI 与 Anthropic 兼容 API，让本地推理像调前沿云服务一样顺手。
Linux 上的原生语音转文字工具，提供系统级听写，速度快、准确率高且数据本地处理，适合注重隐私的用户。
用 USB-C 把 iPhone 接到 Mac 上，让手机参与跑 27B 大模型，加快提示词读取并扩展上下文，适合本地推理场景。
把图片或提示词一键变成带贴图、骨骼和动画的游戏角色，本地跑在 Apple Silicon 或 NVIDIA 上，适合独立游戏开发者和 3D 美术。
开源的 iOS 语音转文字应用，基于 Whisper 模型在手机本地完成高质量转录，让移动端离线转写更易用。
在 Node.js/TypeScript 里通过 ONNX Runtime 本地跑 Laya 这个兼容 Jev 的开源 System-1 决策模型，做分类和推理，不用依赖云端。
Rust 编写的本地向量嵌入与重排库，无需调用外部 API 即可在本地生成文本向量并做检索结果重排，适合搭建 RAG 和向量检索。
共 96 个，这里展示前 60 个。