在 DGX Spark 上跑 Qwen3.5-122B-A10B 的 INT4 量化推理方案，靠 AutoRound 加 MTP 把吞吐从 28.3 提到 51 tok/s，显存吃紧的单机也能跑大模型。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具，支持 INT8/FP8/INT4 等低比特量化和稀疏化，帮大模型在低精度下保持精度并降低显存与推理成本。
Intel 开源的模型量化工具，用训练后量化的低成本达到量化感知训练级别的精度，支持 int4、GGUF、MXFP4 等格式，可直接对接 vLLM、SGLang 推理。
面向视觉语言模型的 INT4 量化部署方案，通过量化感知蒸馏把大模型压缩到 4bit，在保持多模态能力的同时大幅降低显存占用。
纯 Rust 实现的 CPU 端 OCR 引擎，跑百度 Unlimited-OCR 这个 3B MoE 视觉语言模型，自带 int8 定制算子，不依赖 ML 框架、Python 或 GPU。
…-27B](https://huggingface.co/OpenVINO/Qwen3.8-27B-int4-ov) model Improved accuracy for [Gemma-4-26B-a4B](https://huggingface.co/OpenVINO/gemma-4-26b-a4b-it-int4-ov) on GP
…card and IR available: [OpenVINO/Muse-Glimmer-30B-int4-ov · Hugging Face](https://huggingface.co/OpenVINO/Muse-Glimmer-30B-int4-ov) Notebooks to try: [Muse Glimmer-30B mu
…ue/Qwen3-VL-2B-GRACE-W4G128-AWQ - Real AWQ-packed INT4 weights with direct Hugging Face Hub loading - 75.0 average across seven VLM benchmarks, retaining 98% of GRACE BF1
…cr pull target. Recipe unlimited-ocr-wasm-experts-int4-attn-int8-lmhead-int8-v1 (MoE experts int4 g16/g32 with importance-weighted clip search + AWQ down proj fold over 1
…onfigs: Float8DynamicActivationFloat8WeightConfig Int4WeightOnlyConfig IntxWeightOnlyConfig Int8DynamicActivationIntxWeightConfig Int8WeightOnlyConfig Int8DynamicActivati
….3702 (qat), recovered 17.881% BC Breaking Rename Int4WeightPreshuffledFakeQuantizeConfig ([https://github.com/pytorch/ao/pull/3005](https://github.com/pytorch/ao/pull/30