Intel 开源的模型量化工具,用训练后量化的低成本达到量化感知训练级别的精度,支持 int4、GGUF、MXFP4 等格式,可直接对接 vLLM、SGLang 推理。
基于 PyTorch 的神经网络量化库,支持训练后量化和量化感知训练,方便把模型部署到 FPGA 等硬件上做加速。
GPTQ 是 ICLR 2023 论文的官方实现,能在训练后把 GPT 类大模型量化到 3/4 比特,几乎不掉精度,大幅降低显存占用和推理成本。
面向边缘受限硬件的神经网络压缩工具包,提供量化感知训练和训练后量化等高级量化压缩能力,帮研究者把模型高效部署到资源紧张的设备上。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具,支持 INT8/FP8/INT4 等低比特量化和稀疏化,帮大模型在低精度下保持精度并降低显存与推理成本。
一个高效易用的深度学习模型压缩框架,支持剪枝、训练后量化和量化感知训练,能把 PyTorch 模型转换部署到端侧。