awesome-compression

Awesome Compression

项目简介

  随着ChatGPT的出圈，大语言模型层出不穷，并展现出非凡的能力，可以有效地解决各种问题。然而，这些模型通常需要大量的计算资源和内存，导致运行时资源消耗较高，限制了其在某些场景下的应用，让很多研究者望而却步。本项目使用通俗易懂的语言介绍模型的剪枝、量化、知识蒸馏、低秩分解等压缩方法，让更多的小白能更快了解到模型压缩技术。

在线阅读地址: https://datawhalechina.github.io/awesome-compression

项目意义

  目前网上关于模型压缩的相关资料比较驳杂，初学者很难找到一个简单优质的的中文入门教程来学习。本项目借鉴MIT 6.5940 TinyML and Efficient Deep Learning Computing，提供模型压缩的入门教程，降低模型压缩的学习门槛。在教程中，您将了解不同的压缩方法，通过实践和示例，学习如何应用这些方法来压缩深度学习模型，以满足实际应用需求。

项目受众

  本项目适合以下学习者：

• 深度学习研究人员；
• 嵌入式系统和移动应用开发者；
• 对AI硬件加速和部署感兴趣的开发者；
• 对模型压缩技术感兴趣的学生群体。

项目亮点

• 提供通俗易懂的理论内容来科普模型压缩技术；
• 提供实践代码，结合实际场景帮助学习者更好地理解理论内容。

本地在线阅读环境安装

Node.js版本

Node v16

安装docsify

npm i docsify-cli -g

启动docsify

docsify serve ./docs

环境安装

本项目实践代码基于Python 3.10，推荐使用conda虚拟环境进行安装。

requirements.txt 文件内容如下：

numpy==1.24.3
matplotlib==3.9.2
tqdm==4.66.5
jupyter==1.1.1
torch==2.1.0
torchvision==0.16.0
torchprofile==0.0.4
torchsummary==1.5.1
fast-pytorch-kmeans
scipy
datasets

使用以下命令创建虚拟环境

conda create -n compression python=3.10
conda activate compression
pip install -r requirements.txt

目录

• 第1章 引言
• 第2章 CNN基础
• 第3章 模型剪枝
• 第4章 模型量化
• 第5章 神经网络架构搜索
• 第6章 知识蒸馏
• 第7章 低秩分解
• 第8章 项目实践

若对大模型压缩感兴趣，欢迎关注Datawhale开源项目llm-deploy

参与贡献

• 如果你想参与到项目中来欢迎查看项目的 Issue 查看没有被分配的任务。
• 如果你发现了一些问题，欢迎在 Issue 中进行反馈🐛。
• 如果你对本项目感兴趣想要参与进来可以通过 Discussion 进行交流💬。

如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 Datawhale 贡献指南。

贡献者名单

姓名	简介
陈玉立	Datawhale成员-北京邮电大学研究生
姜蔚蔚	北京邮电大学助理教授
孙韩玉	模型部署工程师
张艺杰	暨南大学研究生
魏育康	河北科技大学研究生
母鈺川	北京邮电大学研究生
宁致远	上海交通大学本科生

致谢

1. 特别感谢 @Sm1les、@LSGOMYP、@Truth-14 对本项目的帮助与支持；
2. 如果有任何想法可以提Issue, 也欢迎大家多参与贡献；
3. 特别感谢以下为教程做出贡献的同学！

Made with contrib.rocks.

关注我们

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

Star History