…ompat guard 6926 使用Paddle时为Triton使用独立的driver 6983 多硬件支持 昆仑芯XPU 新功能支持 新增 speculate step system cache 支持 5397 支持 get hidden state for mix 功能 5513 新增 speculate get logits 功能
…存逻辑,新增Checkpoint压缩功能,可节省78.5%存储空间。 最后,在大模型推理、自动并行、多硬件支持、文档使用上,我们都进行了深度优化。 主要更新与增强 1. 新增模型 : - 新增了Llama-3.2模型( 9199)、DeepSeekV2模型( 9250),进一步丰富了大型模型的选择。 2. 基础架构改进 : - 重构了SF