面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。

面向大模型量化的压缩工具包，支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速，可无缝接入 HF、vLLM 和 SGLang 推理。