用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

纯 Rust 实现的 WebGPU 推理引擎，原生支持 GGUF 模型，兼容 OpenAI API，无需 Python 和 llama.cpp，单个二进制文件即可在任意 GPU 上跑本地大模型。

用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。

在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图，支持工具调用与局域网服务，无需账号和 API Key。

Local AI API Platform

一个跨平台本地大模型聊天客户端，通过统一界面连接 llama.cpp 本地模型以及 Anthropic、OpenAI、DeepSeek、Ollama 等远程服务。

在 ComfyUI 里搭建 LLM Agent 的框架，接入 MCP、GraphRAG、语音合成与 OCR 节点，兼容 OpenAI 接口的各类模型和本地 GGUF 模型。

在 Node.js 里直接跑 llama.cpp 的绑定库，支持 GPU 加速和 GGUF 模型，还能在生成阶段强制模型按 JSON Schema 输出，方便做结构化抽取和函数调用。

本地运行的 AI 聊天应用与推理引擎，基于 llama.cpp 加载 GGUF 开源权重模型，完全离线、保护隐私，支持 Apple Silicon 桌面端。

在自己的 GPU 上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax-M3.1-Flash 等大模型，统一引擎加可视化面板，兼容 OpenAI 与 Anthropic 接口。

本地优先的 AI 智能体，通过 llama.cpp 在你自己的机器上运行开源权重模型，兼顾浏览器自动化与命令行操作，数据不出本机。

跨平台本地大模型推理引擎，支持 Godot、Flutter、Expo 等客户端，让 LLM 在任意设备上高效离线运行。

OuteTTS 模型的推理接口，支持 GGUF 和 Transformers 后端，方便本地跑文本转语音。

一套 0.8B 到 27B 的开源决策模型，一次前向就能为每个选项给出校准概率，只在不确定时才输出简短思考；配套 vLLM、llama.cpp 和 MLX 推理引擎。

Intel 开源的模型量化工具，用训练后量化的低成本达到量化感知训练级别的精度，支持 int4、GGUF、MXFP4 等格式，可直接对接 vLLM、SGLang 推理。

在笔记本 CPU 上本地跑二分类、多选和带概率打分的决策模型，是 Jev 和 Microsoft-Decision-1 的开源替代，支持 GGUF 量化推理。

用 Swift 写的轻量本地大模型推理库，能在 macOS、iOS、watchOS、tvOS、visionOS 上直接跑 GGUF 模型，代码简单易读，方便苹果生态应用集成。

把 AI/ML 模型、数据集、代码和配置打包成 OCI Artifact 并做版本管理，让模型交付像容器镜像一样标准化、可复现。

用纯 Java 实现的 Llama 3 及后续版本推理引擎，无需原生依赖即可在 JVM 上跑大模型，适合 Java 项目直接集成。

Fun-ASR 是支持 31 种语言和中文方言的语音识别模型，提供 Nano 轻量版，并支持 Transformers、FunASR、vLLM、llama.cpp 多种部署方式，可端侧运行。

开源本地 AI SDK，无需云端和 API Key 即可在设备端跑 GGUF 模型，集成 RAG、图像音乐视频生成、语音转写和 P2P 推理，覆盖桌面与移动端。

把 Qwen3-VL、Florence-2、InternVL 等视觉语言模型接进 ComfyUI 的节点包，顺带支持开放词表检测、SAM 分割、视频时序推理和 GGUF 量化加载。

用纯 Go 直接调用 llama.cpp 做本地推理，支持 CUDA、Metal、ROCm 硬件加速，覆盖 Linux、macOS、Windows 和 WebAssembly，方便在 Go 应用里嵌入大模型。

Krasis 是一个混合式 LLM 推理运行时，通过 CPU+GPU 协同把大模型跑在显存有限的消费级显卡上，支持 MoE 和 GGUF 模型。

无需 ROOT 的安卓屏幕实时翻译工具，通过端侧或云端 OCR 识别游戏、视觉小说和漫画中的文字，再用离线 LLM 或在线翻译服务把译文直接叠加显示在画面上。

在 NVIDIA GPU 上为 StartLux-Decision 模型提供快速精确推理，支持 int8 和 4-bit 量化的 GGUF 权重，延迟比 vLLM FP8 低至 5.3 倍且答案逐位一致。

用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。

用 Go 写的嵌入式向量检索库，底层调 llama.cpp 做语义向量和相似度搜索，适合直接在 Go 服务里加语义搜索能力，不用另起向量数据库。

纯 C 写的本地大模型推理引擎，靠 MoE 稀疏激活和 NVMe 流式加载，让 32GB 笔记本跑 80B 模型，速度全面超过 llama.cpp。

在单张 RTX 4090 加 110GB 内存的游戏 PC 上本地跑 552B 的 DeepSeek-V4.1-Flash 做编码智能体，MoE 专家分层放在显存、锁页内存和 NVMe 上，兼容 OpenAI 与 Anthropic API。

基于 llama.cpp 和 GGUF 的 VLA 模型统一推理运行时，用 C++ 实现，支持量化部署，让机器人视觉-语言-动作模型能在本地高效跑起来。

纯 C 实现的 LLM 推理库，零依赖单头文件，通过无损 KV cache 压缩把上下文长度拉长到 7 倍，适合嵌入到资源受限环境。

面向 Apple Silicon 的自适应混合精度量化与推理运行时，把 GGUF 模型转成 MLX 可用格式，让 Mac 上跑大模型更省显存。

Rust 原生本地推理后端，支持 GGUF 模型和量化，在 Apple Silicon 与 Windows 上跑 LLM，并提供 OpenAI 兼容接口。

面向 Apple Silicon 的本地大模型推理与微调框架，用 Rust 实现，支持 LoRA/QLoRA 微调、量化、模型服务和 MLX/Metal 加速。

用 Rust + CUDA 写的 SSD 流式推理引擎，让消费级 16GB 显卡也能跑 743B 级 MoE 大模型，自动测 PCIe 带宽并分配注意力与热专家。

在 Kubernetes 上自托管大模型推理的 Operator，统一调度 NVIDIA、AMD、Apple Silicon 等异构 GPU，支持多卡分片、模型缓存和 OpenAI 兼容接口。

基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。