面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具，支持 INT8/FP8/INT4 等低比特量化和稀疏化，帮大模型在低精度下保持精度并降低显存与推理成本。

一套用 CPU、GPU 和 APU 做纹理与 3D 模型压缩、优化和分析的工具集，支持 BC、ASTC、ETC 等格式，帮图形开发者减小资源体积并检查画质。

面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。

一站式大模型压缩工具箱，支持 LLM、VLM 和视频生成模型的量化与剪枝，覆盖 AWQ、SmoothQuant 等算法，并提供压缩后的评测与部署流程。

面向大模型的一站式压缩 Python 包，集成量化与 QEP 等技术，可压缩模型体积并接入 vLLM 加速推理部署。

safetensors 的扩展，能把稀疏量化后的张量高效存到磁盘，省空间又不牺牲加载速度，适合大模型量化权重的持久化。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。

基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。

腾讯开源的模型压缩工具包，支持量化、投机解码和扩散模型加速，帮你在部署大模型时降低显存占用、提升推理效率。

飞桨生态下的模型压缩与架构搜索库，提供剪枝、量化、蒸馏和 NAS 等能力，帮你在部署前把深度模型压小提速。

面向 Keras 和 TensorFlow 的模型压缩工具包，通过量化和剪枝把训练好的模型压小、跑得更快，方便部署到移动端和边缘设备。

一个高效易用的深度学习模型压缩框架，支持剪枝、训练后量化和量化感知训练，能把 PyTorch 模型转换部署到端侧。

本地完成计算机视觉模型从标注、训练到优化部署的全流程，支持增量学习与模型压缩，针对 Intel XPU 加速并兼容 CUDA。

AWQ 是一种激活感知的权重量化方法，能在几乎不损失精度的情况下把大模型压到 4bit，并配合高效推理内核显著降低显存占用、提升推理速度。

面向任意结构剪枝的通用框架，支持 LLM、视觉基础模型和 Transformer 等，用依赖图自动处理层间耦合，省去手工设计剪枝策略。

一套可扩展的列柱式压缩框架，也是目前最快的开源列柱式文件格式，面向多模态和 Arrow 数据的高效存储与读取。

GPTQ 是 ICLR 2023 论文的官方实现，能在训练后把 GPT 类大模型量化到 3/4 比特，几乎不掉精度，大幅降低显存占用和推理成本。

用 JavaScript/TypeScript 读写、编辑和优化 glTF 2.0 模型，支持压缩、网格处理与场景图操作，浏览器和 Node.js 都能跑。

微软开源的神经架构搜索（NAS）研究框架，提供快速、可复现、模块化的实验流程，帮你在 PyTorch 上跑 DARTS、Petridish 等 NAS 算法并做超参优化与模型压缩。

面向已训练神经网络模型的量化与压缩库，提供剪枝、量化等高级技术，帮助在部署前压缩模型体积、降低推理开销。

用 0.1% 的数据通过剪枝和知识蒸馏把 Segment Anything 模型压缩成轻量版，大幅降低显存和计算开销，同时保持分割精度。

PyTorch 量化后端，接入 Optimum 生态，支持多种量化方案，帮你在推理和训练中压缩模型、降低显存占用。

基于截断 SVD 的大模型压缩方法，通过奇异值分解降低 LLM 参数量与显存占用，同时尽量保住生成质量，已中稿 ICLR 2025。

基于 FastAI 和 PyTorch 的模型压缩工具，提供剪枝、蒸馏和量化，帮你在边缘设备上跑更小更快的神经网络。

面向开发者的模型优化框架，能对扩散模型、LLM、语音识别等模型做压缩加速，以极低改造成本换来更快、更省资源的推理。

一种简单又强大的大模型量化技术，通过可学习权重裁剪和等价变换，在保持精度的同时把 LLM 压到低比特，方便部署推理。

一款 ONNX 模型优化工具，通过精简计算图和冗余节点来减小模型体积、提升推理速度，适合部署前做模型瘦身。

面向 OpenVINO 推理的神经网络压缩框架，提供量化、剪枝和混合精度训练，把模型压小提速后再部署。

压缩 3D 高斯泼溅模型，减少存储占用并加速新视角合成渲染，适合在资源受限设备上部署 3DGS 场景。

基于 PyTorch 的知识蒸馏框架，无需写代码即可复现和对比 28 种顶会蒸馏方法，附带训练模型、日志和配置，方便做可复现的深度学习研究。

系统讲解大模型推理与部署的理论与实践，涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术，适合想上手 LLM 部署的开发者学习。

面向视觉 tokenizer 的球面量化方案，包含二值球面量化和 Leech 球面量化两种方法，用于压缩视觉 token 并提升表示效率。

面向边缘受限硬件的神经网络压缩工具包，提供量化感知训练和训练后量化等高级量化压缩能力，帮研究者把模型高效部署到资源紧张的设备上。

在本地设备上跑大语言模型的推理引擎，靠 X-Bit 量化把模型压小，让 Llama、Gemma 这类模型在资源有限的机器上也能流畅生成。

面向视觉语言模型的 INT4 量化部署方案，通过量化感知蒸馏把大模型压缩到 4bit，在保持多模态能力的同时大幅降低显存占用。

面向零基础读者的模型压缩教程，系统讲解剪枝、量化、知识蒸馏、低秩分解和神经架构搜索等让大模型变小变快的方法。

汇总 token 级模型压缩相关论文与资源，涵盖 token 剪枝、合并等加速方法，方便快速查找视觉与深度学习模型压缩方向的研究资料。

汇总深度神经网络压缩与加速方向的论文清单，方便按主题查找剪枝、量化等模型轻量化研究。

汇总知识蒸馏领域的论文、代码与资源清单，方便快速查找教师-学生模型压缩和知识迁移的相关工作。