面向大模型量化的压缩工具包,支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速,可无缝接入 HF、vLLM 和 SGLang 推理。
…ompat guard 6926 使用Paddle时为Triton使用独立的driver 6983 多硬件支持 昆仑芯XPU 新功能支持 新增 speculate step system cache 支持 5397 支持 get hidden state for mix 功能 5513 新增 speculate get logits 功能
…存逻辑,新增Checkpoint压缩功能,可节省78.5%存储空间。 最后,在大模型推理、自动并行、多硬件支持、文档使用上,我们都进行了深度优化。 主要更新与增强 1. 新增模型 : - 新增了Llama-3.2模型( 9199)、DeepSeekV2模型( 9250),进一步丰富了大型模型的选择。 2. 基础架构改进 : - 重构了SF