Official inference library for Mistral models

Large Language Model Text Generation Inference

面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。

面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

把任意电脑或边缘设备变成计算机视觉推理服务器，一条命令部署目标检测、分类、实例分割等模型，省去自己搭服务的麻烦。

面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南，用 TensorRT 加速图像识别等视觉任务，配套教程和预训练模型开箱即用。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

在 PostgreSQL 数据库内直接跑机器学习和向量检索，用 SQL 就能做嵌入、分类、聚类和 LLM 推理，省去单独搭推理服务的麻烦。

面向重度用户的大语言模型聊天前端，支持接入多种模型接口，提供角色卡、提示词管理和对话历史等进阶功能，适合深度定制 AI 角色扮演与对话体验。

开源文生视频和图生视频模型，CogVideoX 支持从文本或图片生成视频，适合搭建视频生成推理服务。

云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

8MB 的 RWKV 模型管理与启动工具，全自动部署推理，并提供兼容 OpenAI API 的接口，方便直接接入现有客户端。

面向 Linux 服务器的开源运维管理面板，用 Web 界面管理 Docker、LNMP 站点和 Ollama 等 AI 服务，省去手敲命令的麻烦。

面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。

开箱即用的开源 AI 对话平台，支持接入任意 LLM，内置 RAG 与企业级搜索，适合团队自建带知识库的聊天助手。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

把机器学习模型打包成标准 Docker 容器，自动生成 HTTP 推理服务接口，省去自己写 Dockerfile 和部署脚本的麻烦。

本地大模型推理服务的模型热切换代理，按需自动加载和卸载不同模型，让单个服务端同时对外提供多个 LLM，省去手动重启。

LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。

给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。

把数据库和 AI 模型直接打通的全栈框架，让你在 MongoDB 等数据源上直接做推理、训练和部署自定义 AI 应用与智能体。

自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。

把长视频自动剪成 9:16 竖屏短视频，用 LLM 挑高光片段、Whisper 转写、自动裁切，免费无水印，替代 Opus Clip 等付费服务。

一个 Agent 技能，用来抹掉文本里 AI 生成的痕迹，让 ChatGPT、Claude 等模型写出的内容读起来更像真人手笔。

基于 PyTorch 的目标检测全家桶，覆盖训练、推理、实例分割、图像分类和模型导出，开箱即用，适合快速落地视觉任务。

输入一个主题或关键词，就能自动完成文案生成、素材匹配、配音字幕和视频合成，一键产出高清短视频，省去手工剪辑的麻烦。

给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。

开源 AI 记忆系统，基于 ChromaDB 为 LLM 提供持久化记忆存储与检索，在基准测试中表现领先，可免费自托管。

把纸质文档扫描后自动 OCR、打标签并归档成可全文检索的个人文档管理系统，适合想彻底告别纸质文件柜的人。

用大模型智能体做量化交易，支持多智能体协作、策略回测和 MCP 接入，让个人也能搭起自己的自动交易助手。