本地优先的 AI 智能体工作台，把文档、对话和工具整合成可私有部署的知识库与代理，数据留在自己机器上，不用租用云端智能服务。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。

O'Reilly《Hands-On Large Language Models》官方配套代码，用 Jupyter Notebook 带你动手跑通大模型的分词、嵌入、提示工程、微调与 RAG 等核心环节。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

本地优先的深度研究问答系统，接 llama.cpp、Ollama 等本地或云端模型，聚合 arXiv、PubMed 及私有文档等十余个检索源，全程加密。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向零基础开发者的大模型应用开发教程，手把手带你用 LangChain 搭建 RAG 应用，从调用 API 到构建知识库问答系统。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。

让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。

在 Unity 游戏引擎里直接跑本地大模型，让 NPC 和角色能自然对话，不用接云端 API。

一站式本地 AI 桌面工作台，把聊天、图像与视频生成、编码智能体整合进单个免费应用，Windows/Linux 免 Docker、免终端、免云端即可跑。

在 ComfyUI 里搭建 LLM Agent 的框架，接入 MCP、GraphRAG、语音合成与 OCR 节点，兼容 OpenAI 接口的各类模型和本地 GGUF 模型。

统一管理 VLLM、Sglang、llama.cpp、exllamav3 等本地大模型推理引擎的控制面板，省去逐个配置和切换的麻烦。

用大模型对 Tesseract 的 OCR 结果做纠错、智能分块和 Markdown 排版，把扫描 PDF 转成干净可读的文本，支持本地或 API 模型。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

用 Swift 写的轻量本地大模型推理库，能在 macOS、iOS、watchOS、tvOS、visionOS 上直接跑 GGUF 模型，代码简单易读，方便苹果生态应用集成。

在 Debian 上从零搭建完全本地私有的 LLM 服务器，集成聊天、联网搜索、RAG、模型管理、MCP、图像生成和语音合成。

在本地电脑上离线运行大模型的桌面客户端，是 ChatGPT 的开源替代品，无需联网即可对话，数据不出本机。

在本地网络内用开源大模型完成文件摄取与检索增强生成，数据不出内网、不依赖第三方服务。

用多个 LLM 智能体分工协作模拟金融交易决策，把研究、分析、下单等环节拆给不同角色，适合做量化交易策略的智能体实验。

把 Obsidian 笔记和 PDF 自动整理成带实体页、概念页的互链知识库，并支持基于图谱的问答，数据全程留在本地。

用大模型对本地文档做检索问答，集成 HyDE、SPLADE、重排序和 Chroma 向量库，适合快速搭建 RAG 应用。

把 Markdown 笔记丢进去，本地 Ollama 模型自动抽取概念并生成双向链接，让 Obsidian 知识库自己长起来，全程不联网、笔记不外传。

本地离线运行的便携式 OCR 软件，用 DeepSeek-OCR-2 模型直接在你自己机器上识别图片和 PDF，适合不想把文档传到云端的场景。

把多家大模型、AI Agent 和 MCP 工具整合到一个桌面工作台里，方便日常对话、调用工具和提升生产力。

纯 C++ 实现的大模型推理引擎，无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。

在安卓手机上原生运行 DeepSeek Harness AI 智能体，无需 Root 或 Termux，自带扩展中心，让手机直接当本地 Agent 运行环境。

自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。

在自己电脑上离线运行的语音对话大模型，集语音识别、大模型推理和语音合成于一体，无需联网即可与 AI 对话。

可自托管的个人 AI 第二大脑，能从网页和本地文档中检索答案，支持自定义智能体、定时自动化和深度研究，兼容多种在线或本地大模型。

离线多智能体模拟与预测引擎，用 Neo4j 图数据库加 Ollama 本地模型跑群体智能推演，全程不联网也能做预测实验。

本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。

用消费级硬件在本地搭建并运行大语言模型和聊天机器人，支持 llama-cpp-python、vLLM 和 RAG 检索增强。

轻量级开源个人 AI 助手，支持本地 LLM、MCP 协议和多智能体协作，可接入 Discord 等聊天平台做日常自动化。