Intel 开源的模型量化工具,用训练后量化的低成本达到量化感知训练级别的精度,支持 int4、GGUF、MXFP4 等格式,可直接对接 vLLM、SGLang 推理。
一种简单又强大的大模型量化技术,通过可学习权重裁剪和等价变换,在保持精度的同时把 LLM 压到低比特,方便部署推理。
在 Apple Silicon 上做 W8A8/W4A8 量化推理,调用 M5 闲置的 INT8 TensorOps 让 LLM prefill 快 1.2–1.9 倍,并用类 FlashInfer 的 GQA 解码注意力加速 SDPA。