面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具，支持 INT8/FP8/INT4 等低比特量化和稀疏化，帮大模型在低精度下保持精度并降低显存与推理成本。

GPTQ 是 ICLR 2023 论文的官方实现，能在训练后把 GPT 类大模型量化到 3/4 比特，几乎不掉精度，大幅降低显存占用和推理成本。

开源语音识别模型 Phonon-2 和 Phonon-1，提供命令行工具以及 CPU、CUDA 镜像，支持低比特量化和 MLX 加速，方便本地部署语音转文字。

HQQ 是一种无需校准数据的大模型量化方法，官方实现支持几行代码把 LLM 压到低比特，省显存还能保持精度。

在 CH32V003 这类低端 32 位单片机上跑低比特权重量化神经网络，把 TinyML 推理压进几毛钱的芯片里。

整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。