基于截断 SVD 的大模型压缩方法,通过奇异值分解降低 LLM 参数量与显存占用,同时尽量保住生成质量,已中稿 ICLR 2025。
面向零基础读者的模型压缩教程,系统讲解剪枝、量化、知识蒸馏、低秩分解和神经架构搜索等让大模型变小变快的方法。