Official inference library for Mistral models

Large Language Model Text Generation Inference

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。

面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南，用 TensorRT 加速图像识别等视觉任务，配套教程和预训练模型开箱即用。

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

阿里开源的高性能大模型推理引擎，支持 GPT、Llama 等多种模型，面向各类应用提供低延迟、高吞吐的在线推理服务。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

纯 C++ 实现的大模型推理引擎，无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。

基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。

The Security Toolkit for LLM Interactions

面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

在自己电脑上离线运行的语音对话大模型，集语音识别、大模型推理和语音合成于一体，无需联网即可与 AI 对话。

一份系统梳理大模型推理的学习笔记，涵盖 Transformer 结构、KV Cache、CUDA 与 Triton 算子编程，以及 vLLM 等框架的源码分析。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

在 Kubernetes 上部署大模型推理的简易平台，支持 vLLM、SGLang、llama.cpp 等多种后端，帮你在集群里轻松跑起推理服务。

让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。

用 Python 从零实现的教学版 vLLM，帮助理解大模型推理引擎的调度与 KV Cache 机制，适合边读代码边学习。

用大模型对 Tesseract 的 OCR 结果做纠错、智能分块和 Markdown 排版，把扫描 PDF 转成干净可读的文本，支持本地或 API 模型。

轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。

用「思维模板」库增强大模型推理：把可复用的推理思路存成元缓冲区，遇到新问题时检索并套用，提升复杂任务准确率并降低成本。

基于 vLLM 的 Runpod 无服务器 worker 模板，用于快速部署大语言模型推理端点，省去自己搭建服务的工作。

系统讲解大模型推理与部署的理论与实践，涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术，适合想上手 LLM 部署的开发者学习。

用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。

A high-performance inference system for large language models, designed for production environments.

在 Unity 游戏引擎里直接跑本地大模型，让 NPC 和角色能自然对话，不用接云端 API。

一个面向 LLM 的推理优化代理，通过 API 网关接入，自动套用思维链等推理策略来提升模型回答质量并降低调用成本。

在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。

面向大模型的 React 组件库，专门处理流式输出中 Markdown 渲染不完整、代码块闪烁等问题，让聊天界面边生成边稳定显示。

开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

把 Discord 变成大模型聊天前端，接入 OpenAI、Gemini、Ollama 等多种 LLM，在服务器频道里直接对话。

汇总大模型全栈优质资源的清单，覆盖训练、推理、LLMOps 等环节，帮开发者快速找到需要的工具和资料。