AWQ 是一种激活感知的权重量化方法，能在几乎不损失精度的情况下把大模型压到 4bit，并配合高效推理内核显著降低显存占用、提升推理速度。
一种简单又强大的大模型量化技术，通过可学习权重裁剪和等价变换，在保持精度的同时把 LLM 压到低比特，方便部署推理。
在 CH32V003 这类低端 32 位单片机上跑低比特权重量化神经网络，把 TinyML 推理压进几毛钱的芯片里。
汇总可私有化部署的中文大语言模型资源清单，覆盖小规模底座模型、垂直领域微调、数据集与教程，方便低成本选型落地。
…元素块及可选输入 scale， NCNN WEIGHT QUANT 默认开启；int4/int6 为权重量化，int8 CPU 路径采用动态逐行/逐块激活量化、int32 点积和逐块反量化累加。 - 新增 ncnnllm2table / ncnnllm2int ，支持 minmax、mseclip、AWQ、GPTQ，生成/消费 GEMM
…发式调度、int4 image1d buffer t 优化、原生 TopKV2 与 2/3-bit 权重量化；Metal 优化 Conv1x1 分支选择；CUDA 支持 Blackwell（sm 120）并优化 Eagle 推测解码；QNN 支持 Qwen3.5 与离线图多进程并行导出。 低比特量化与硬件适配增强 ：CPU 与 GPU 全
…table 接管 Embed、MultiHeadAttention、RNN、LSTM、GRU 的静态权重量化 scale 生成，这些层可在无校准数据集时生成 table； ncnn2int8 改为要求并消费 table，流程更明确。（@Roundaboutt, 6688） - ncnn2int8 整理 RNN、LSTM、GRU、Embed