基于截断 SVD 的大模型压缩方法,通过奇异值分解降低 LLM 参数量与显存占用,同时尽量保住生成质量,已中稿 ICLR 2025。
PiSSA 是一种参数高效微调方法,用主奇异值和奇异向量初始化 LoRA 的低秩矩阵,让大模型微调收敛更快、效果更好。