EAGLE 系列投机解码算法的官方实现,通过草稿模型加速大语言模型推理,在几乎不损失生成质量的前提下显著提升吞吐。
…复计算;Metal 使用适合短验证块的 Q4 分块矩阵计算与 K 维切分 DFlash 权重复用 :草稿模型共享目标模型的 lm head,减少磁盘与运行时的重复权重 升级提示:旧版 DFlash 草稿模型需重新导出。 QAT checkpoint 导出 :新增 --qat ,读取 qat config.json 与 safetensor