通用大模型部署引擎,借助机器学习编译技术把 LLM 高效跑在各种硬件上,从手机到服务器都能用。
基于 MLIR 的可重定向机器学习编译器与运行时工具包,把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。