面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向零基础开发者的大模型应用开发教程，手把手带你用 LangChain 搭建 RAG 应用，从调用 API 到构建知识库问答系统。

本地优先的 AI 智能体工作台，把文档、对话和工具整合成可私有部署的知识库与代理，数据留在自己机器上，不用租用云端智能服务。

基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。

面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。

让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。

The Security Toolkit for LLM Interactions

阿里开源的高性能大模型推理引擎，支持 GPT、Llama 等多种模型，面向各类应用提供低延迟、高吞吐的在线推理服务。

让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。

开源复现并扩展 Google Research 的 PaperBanana，用多智能体自动生成学术论文配图、示意图和研究可视化，还能做幻灯片。

在 Apple Silicon 上跑大模型的高性能推理服务，兼容 OpenAI 和 Anthropic 接口，支持 MLX 原生加速、连续批处理、多模态和 MCP 工具调用。

面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。

一个面向 LLM 的推理优化代理，通过 API 网关接入，自动套用思维链等推理策略来提升模型回答质量并降低调用成本。

用大模型对 Tesseract 的 OCR 结果做纠错、智能分块和 Markdown 排版，把扫描 PDF 转成干净可读的文本，支持本地或 API 模型。

自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。

面向大模型的无服务器推理服务系统，通过多级检查点加载和 GPU 显存复用，实现低延迟、按需启动的 LLM 部署。

把 Discord 变成大模型聊天前端，接入 OpenAI、Gemini、Ollama 等多种 LLM，在服务器频道里直接对话。

一个语音聊天应用，把语音识别、大模型对话和语音合成串成完整链路，跑在 Modal 无服务器平台上，适合快速搭建可对话的语音助手原型。

汇总大模型全栈优质资源的清单，覆盖训练、推理、LLMOps 等环节，帮开发者快速找到需要的工具和资料。

在 Unity 游戏引擎里直接跑本地大模型，让 NPC 和角色能自然对话，不用接云端 API。

基于 vLLM 的 Runpod 无服务器 worker 模板，用于快速部署大语言模型推理端点，省去自己搭建服务的工作。

面向大模型的 React 组件库，专门处理流式输出中 Markdown 渲染不完整、代码块闪烁等问题，让聊天界面边生成边稳定显示。

在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。

统一 API 接入多家大模型服务商，集中路由、管理并分析 LLM 请求，省去逐个对接和维护密钥的麻烦。

用命令行一键启动 vLLM 的 LLM 推理服务，省去手写配置和启动脚本的麻烦，适合快速部署和测试模型。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。