Official inference library for Mistral models

Large Language Model Text Generation Inference

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南，用 TensorRT 加速图像识别等视觉任务，配套教程和预训练模型开箱即用。

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。

在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。

给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。

自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。

面向重度用户的大语言模型聊天前端，支持接入多种模型接口，提供角色卡、提示词管理和对话历史等进阶功能，适合深度定制 AI 角色扮演与对话体验。

一个 Agent 技能，用来抹掉文本里 AI 生成的痕迹，让 ChatGPT、Claude 等模型写出的内容读起来更像真人手笔。

输入一个主题或关键词，就能自动完成文案生成、素材匹配、配音字幕和视频合成，一键产出高清短视频，省去手工剪辑的麻烦。

给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。

开源 AI 记忆系统，基于 ChromaDB 为 LLM 提供持久化记忆存储与检索，在基准测试中表现领先，可免费自托管。

把纸质文档扫描后自动 OCR、打标签并归档成可全文检索的个人文档管理系统，适合想彻底告别纸质文件柜的人。

用大模型智能体做量化交易，支持多智能体协作、策略回测和 MCP 接入，让个人也能搭起自己的自动交易助手。

把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU，写起来像 NumPy，跑起来像高性能计算。

一个免代码的 RAG 服务器，能随文档更新自动同步答案，支持 8 种向量数据库，基于 Pathway 构建。

在本地电脑上离线运行大模型的桌面客户端，是 ChatGPT 的开源替代品，无需联网即可对话，数据不出本机。

在浏览器里直接跑 Hugging Face 的 Transformer 模型，不用后端服务器，前端就能做文本、视觉等机器学习推理。

OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。

在 macOS 菜单栏里统一管理各家大模型的接入，让 Codex 跑在 DeepSeek 上、Claude Code 跑在 Kimi 上，省去逐个配置的麻烦。