llm-deploy

datawhalechina长期未更新

系统讲解大模型推理与部署的理论与实践，涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术，适合想上手 LLM 部署的开发者学习。

大模型/LLM推理和部署理论与实践

暂无版本434star55fork同步于 2026-11-07 07:30 UTC

大模型部署模型量化 LoRA 模型剪枝知识蒸馏

对比 GitHub 官网 knowledge-distillation llm llm-deploy lora pruning

怎么上手

由 README 提炼，执行前请确认

原文

README 未说明

硬件要求按 README 说明

README 未说明

下载：源码 zip·GitHub Releases（安装包）本站不镜像安装包

项目说明

由 README 自动翻译提炼

没人工点评？写下你的经验

Datawhale 开源的大模型推理与部署教程，帮算法工程师从理论到实战入门

系统讲解大模型推理与部署的理论与实践，涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术，适合想上手 LLM 部署的开发者学习。

核心能力

覆盖量化、蒸馏、剪枝、低秩分解等模型压缩理论
讲解运行、框架、并行、并发、内存等部署实战主题
由多位有实践经验的工程师分章协作输出
配套各章负责人录制的视频讲解链接

容易踩的坑

这是教程文档项目而非可直接安装的软件，README 未提供安装或运行命令；README 中的 Issue、Discussion 链接为空，需自行到仓库页面查找

内容由模型根据 README 生成，可能不完整或不准确，以官方文档为准。看原文 README

用户点评

登录用户的真实使用记录，可按版本和硬件筛选

共 0 条

还没有人点评。第一个说出真实体验的人最有价值。

README 原文

未翻译

在 GitHub 打开

LLM-Deploy

本教程主要侧重于模型/LLM推理和部署理论与实践，旨在成为你掌握LLM推理与部署艺术的伙伴，无论你是初涉此领域的新人，还是寻求深化专业技能的资深人士，都能在此找到通往成功部署大型语言模型的关键路径。

立项理由

弥补推理和部署方面的缺乏。为更多对本领域感兴趣的同学或行业内外从业人员提供一个不错的入门资料。

项目受众

算法工程师。
对推理部署感兴趣的同学。

项目亮点

推理部署相关理论与实践。
模型和服务优化实战。
多位有实践经验工程师综合输出。

参与贡献

如果你想参与到项目中来欢迎查看项目的 Issue 查看没有被分配的任务。
如果你发现了一些问题，欢迎在 Issue 中进行反馈🐛。
如果你对本项目感兴趣想要参与进来可以通过 Discussion 进行交流💬。

如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 Datawhale 贡献指南。

如果对于小模型压缩的原理和基础感兴趣，可以参考Datawhale开源项目Awesome-Compression

贡献者名单

姓名	职责	简介	视频
长琴、玉立	项目负责人
茂林	第1章负责人	量化	链接
宇菲	第2章负责人	蒸馏	链接
玉立	第3章负责人	剪枝	链接
望寅	第4章负责人	低秩分解
舒凡	第5章负责人	表示	链接
春阳	第6章负责人	运行
杨卓	第7章负责人	框架
薛博阳	第8章负责人	并行	链接
张泽西	第9章负责人	并发	链接
李太颖	第10章负责人	内存	链接

注：表头可自定义，但必须在名单中标明项目负责人

关注我们

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议