给 vLLM 加一个免校准的 KV-cache 量化后端,只需一个开关就能把上下文拉长 3~5 倍,吞吐超过 FP16 且精度基本不掉,适合跑长上下文 Agent。
HQQ 是一种无需校准数据的大模型量化方法,官方实现支持几行代码把 LLM 压到低比特,省显存还能保持精度。