用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库，封装 llama.cpp，让 C# 开发者不用切 Python 就能做聊天和多模态推理。

在 Node.js 里直接跑 llama.cpp 的绑定库，支持 GPU 加速和 GGUF 模型，还能在生成阶段强制模型按 JSON Schema 输出，方便做结构化抽取和函数调用。

在 Vim 编辑器里接入本地 LLM 做代码和文本补全的插件，基于 llama.cpp 实现，无需联网即可获得类 Copilot 的补全体验。

在 macOS 原生应用里直接和本地 LLaMA 模型对话，支持 llama.cpp，不用折腾命令行就能跑起来。

基于 llama.cpp 的 LLM 智能体框架，支持对话、结构化函数调用和结构化输出，即使模型未针对 JSON 或函数调用微调也能用。

基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。

基于 llama.cpp 和 GGUF 的 VLA 模型统一推理运行时，用 C++ 实现，支持量化部署，让机器人视觉-语言-动作模型能在本地高效跑起来。

纯浏览器端运行的极简 AI 对话界面，可对接 llama.cpp、Ollama、vLLM 和 OpenAI 兼容接口，省去本地部署 WebUI 的麻烦。

…, Apache 2.0. Supports oLLaMa, Mixtral, llama.cpp, and more. Demo: https://gpt.h2o.ai/ https://gpt-docs.h2o.ai/

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

本地优先的深度研究问答系统，接 llama.cpp、Ollama 等本地或云端模型，聚合 arXiv、PubMed 及私有文档等十余个检索源，全程加密。

多语种语音理解模型，一次推理就能完成中英日韩粤语音识别、语种判别、情绪识别和音频事件检测，适合做语音交互与音频分析。

把普通 PC、Mac 或 Linux 机器变成私有 AI 服务器，集成 llama.cpp、ComfyUI、Open WebUI、n8n 等组件，方便本地跑大模型、RAG 和 Agent 工作流。

…lex and Max); seamlessly integrate with llama.cpp, Ollama, HuggingFace, LangChain, LlamaIndex, vLLM, DeepSpeed, Axolotl, etc.

…erface for chatting with Alpaca through llama.cpp. Fully dockerized, with an easy to use API.

纯 Rust 实现的 WebGPU 推理引擎，原生支持 GGUF 模型，兼容 OpenAI API，无需 Python 和 llama.cpp，单个二进制文件即可在任意 GPU 上跑本地大模型。

用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索，跨 Mac、Windows、Linux 的桌面文件检索工具。

从零手写 AI Agent，用本地 LLM 跑通函数调用、记忆和 ReAct 循环，帮你真正搞懂 Agent 内部怎么运转，而不是只会调黑盒 API。

本地优先的 AI 智能体，通过 llama.cpp 在你自己的机器上运行开源权重模型，兼顾浏览器自动化与命令行操作，数据不出本机。

一款原生 macOS 聊天应用，基于 llama.cpp 在本地运行大模型，可直接读取你 Mac 上的文件、文件夹和网页内容来回答问题，无需额外安装其他软件。

一个跨平台本地大模型聊天客户端，通过统一界面连接 llama.cpp 本地模型以及 Anthropic、OpenAI、DeepSeek、Ollama 等远程服务。

在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图，支持工具调用与局域网服务，无需账号和 API Key。

开源的 AI 摄像头与 NVR 监控平台，用本地 VLM 和 YOLO 做视频分析，并通过 Telegram、Discord、Slack 推送智能安防告警。

本地运行的 AI 聊天应用与推理引擎，基于 llama.cpp 加载 GGUF 开源权重模型，完全离线、保护隐私，支持 Apple Silicon 桌面端。

一套 0.8B 到 27B 的开源决策模型，一次前向就能为每个选项给出校准概率，只在不确定时才输出简短思考；配套 vLLM、llama.cpp 和 MLX 推理引擎。

统一管理 VLLM、Sglang、llama.cpp、exllamav3 等本地大模型推理引擎的控制面板，省去逐个配置和切换的麻烦。

Fun-ASR 是支持 31 种语言和中文方言的语音识别模型，提供 Nano 轻量版，并支持 Transformers、FunASR、vLLM、llama.cpp 多种部署方式，可端侧运行。

在 Unity 游戏引擎里直接跑本地大模型，让 NPC 和角色能自然对话，不用接云端 API。

本地或自托管运行 29 个开放决策模型家族的推理服务，兼容 Jev API，现有 TypeSafe SDK 改个 base URL 就能接入。

用 USB-C 把 iPhone 接到 Mac 上，让手机参与跑 27B 大模型，加快提示词读取并扩展上下文，适合本地推理场景。

用 C 写的极简终端编码助手，直接在命令行里跑，支持 OpenAI、Anthropic、OpenRouter 和本地 llama.cpp 模型。

自托管的生成式 AI 网页界面，集成 30 多种模型，覆盖图像、视频、音频生成，用浏览器就能统一调用，省去逐个搭建环境的麻烦。

Spark-X2.6 是面向端侧设备的开源模型系列，主打把智能体能力压进本地运行的模型里，支持 llama.cpp、MLX 等推理后端。

无需 ROOT 的安卓屏幕实时翻译工具，通过端侧或云端 OCR 识别游戏、视觉小说和漫画中的文字，再用离线 LLM 或在线翻译服务把译文直接叠加显示在画面上。

面向 Apple Silicon 的原生 SwiftUI 系统监控工具，无需 sudo 即可实时查看 ANE、媒体引擎和内存带宽占用，方便排查本地大模型推理时的硬件瓶颈。

在笔记本 CPU 上本地跑二分类、多选和带概率打分的决策模型，是 Jev 和 Microsoft-Decision-1 的开源替代，支持 GGUF 量化推理。

用纯 Go 直接调用 llama.cpp 做本地推理，支持 CUDA、Metal、ROCm 硬件加速，覆盖 Linux、macOS、Windows 和 WebAssembly，方便在 Go 应用里嵌入大模型。

用 Go 写的嵌入式向量检索库，底层调 llama.cpp 做语义向量和相似度搜索，适合直接在 Go 服务里加语义搜索能力，不用另起向量数据库。

纯 C 写的本地大模型推理引擎，靠 MoE 稀疏激活和 NVMe 流式加载，让 32GB 笔记本跑 80B 模型，速度全面超过 llama.cpp。