AWQ 是一种激活感知的权重量化方法，能在几乎不损失精度的情况下把大模型压到 4bit，并配合高效推理内核显著降低显存占用、提升推理速度。

一站式大模型压缩工具箱，支持 LLM、VLM 和视频生成模型的量化与剪枝，覆盖 AWQ、SmoothQuant 等算法，并提供压缩后的评测与部署流程。

基于截断 SVD 的大模型压缩方法，通过奇异值分解降低 LLM 参数量与显存占用，同时尽量保住生成质量，已中稿 ICLR 2025。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

GPTQ 是 ICLR 2023 论文的官方实现，能在训练后把 GPT 类大模型量化到 3/4 比特，几乎不掉精度，大幅降低显存占用和推理成本。

面向视觉语言模型的 INT4 量化部署方案，通过量化感知蒸馏把大模型压缩到 4bit，在保持多模态能力的同时大幅降低显存占用。

整理大模型高效化研究的资源清单，汇总量化、剪枝、知识蒸馏等压缩与加速方向的论文和工具，方便快速找到降低推理成本的方法。