面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

本地优先的 AI 智能体工作台，把文档、对话和工具整合成可私有部署的知识库与代理，数据留在自己机器上，不用租用云端智能服务。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向零基础开发者的大模型应用开发教程，手把手带你用 LangChain 搭建 RAG 应用，从调用 API 到构建知识库问答系统。

面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。

轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。

让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。

面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

系统讲解大模型推理与部署的理论与实践，涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术，适合想上手 LLM 部署的开发者学习。

在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。

面向大模型的无服务器推理服务系统，通过多级检查点加载和 GPU 显存复用，实现低延迟、按需启动的 LLM 部署。

用命令行一键启动 vLLM 的 LLM 推理服务，省去手写配置和启动脚本的麻烦，适合快速部署和测试模型。

纯 C++ 实现的大模型推理引擎，无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。

从 NLP 基础一路讲到 LLM 微调与部署的算法全栈教程，覆盖 BERT、LLaMA、LoRA 等内容，适合系统入门大模型。

基于 vLLM 的 Runpod 无服务器 worker 模板，用于快速部署大语言模型推理端点，省去自己搭建服务的工作。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

把 LLM 应用从原型推进到生产环境的框架，集成了 LangChain、MLflow、OpenAI 和 Vertex AI，方便管理提示词与模型部署。

社区共建的提示词分享与发现平台，可自托管部署，让团队在完全私密的环境里收集和管理 ChatGPT、Claude、Gemini 等模型的提示词。

汇总大模型全栈优质资源的清单，覆盖训练、推理、LLMOps 等环节，帮开发者快速找到需要的工具和资料。

在 Kubernetes 上部署大模型推理的简易平台，支持 vLLM、SGLang、llama.cpp 等多种后端，帮你在集群里轻松跑起推理服务。

轻量级 OCR 工具包，能把图片和 PDF 转成结构化数据，支持 100 多种语言，方便接入 LLM 和 RAG 流程。

在 Debian 上从零搭建完全本地私有的 LLM 服务器，集成聊天、联网搜索、RAG、模型管理、MCP、图像生成和语音合成。

开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。

开源平台，用于构建和部署基于 GPT/LLM 的对话式 Agent，集成提示词编排、工具调用与多渠道发布，省去从零搭建对话机器人的重复工作。

可视化搭建 Agentic 工作流和 RAG 流水线，支持多种大模型与工具，可云端或私有化部署，帮团队从原型直接走到生产。

开源的长时程 SuperAgent 运行框架，借助沙箱、记忆、工具、技能、子代理和消息网关，自动完成从研究、编码到内容创作的分钟级到小时级复杂任务。

开源可观测性平台，统一收集日志、指标、链路、RUM 和会话回放，单二进制部署，存储成本比 Datadog、Splunk、Elasticsearch 低约 140 倍。

给 vLLM 推理服务器套上现代化 Web 界面，方便管理和对话，兼容 GPU/CPU，并针对 macOS Apple Silicon 与 OpenShift/Kubernetes 部署做了优化。

一本覆盖 LLM Agent 全流程的实战手册，提供 60+ 代码骨架、教程、生态指南和评测工具，帮你从零搭建、部署并理解智能体系统。

微软开源的多智能体编程框架，让开发者用对话编排多个 LLM Agent 协作完成复杂任务，支持自定义角色与工具调用。