通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。
面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。
把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。
面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。
让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。
轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。
用命令行一键启动 vLLM 的 LLM 推理服务，省去手写配置和启动脚本的麻烦，适合快速部署和测试模型。
面向大模型的无服务器推理服务系统，通过多级检查点加载和 GPU 显存复用，实现低延迟、按需启动的 LLM 部署。
系统讲解大模型推理与部署的理论与实践，涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术，适合想上手 LLM 部署的开发者学习。
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。
分布式模型服务框架，能把多台机器组成自建 AI 推理集群，用来跑 Llama、DeepSeek 等大模型。
面向大模型量化的压缩工具包，支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速，可无缝接入 HF、vLLM 和 SGLang 推理。
在自己的 GPU 上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax-M3.1-Flash 等大模型，统一引擎加可视化面板，兼容 OpenAI 与 Anthropic 接口。
纯 Rust + CUDA 实现的大模型推理引擎，不依赖 PyTorch，兼容 OpenAI 接口，可部署 Qwen3 到 Kimi-K2 等模型。