把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
通用大模型部署引擎,借助机器学习编译技术把 LLM 高效跑在各种硬件上,从手机到服务器都能用。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
用大语言模型把编译后的二进制代码还原成可读源码,为逆向工程提供自动化反编译能力。
把 PyTorch、TorchScript 和 FX 模型编译成 TensorRT 引擎,在 NVIDIA GPU 上做推理加速,省去手写 TensorRT 网络的麻烦。
基于 MLIR 的可重定向机器学习编译器与运行时工具包,把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。
字节跳动开源的模型编译方案,基于 MLIR/LLVM 把 PyTorch、ONNX、TensorFlow 等模型编译到多种硬件上运行,解决跨平台部署和推理性能问题。
把 ONNX 模型编译成纯 C 代码,方便在单片机和边缘设备上直接跑推理,不用带完整运行时。
面向单片机和微型计算机的轻量级深度学习库与推理框架,自带编译器,不绑定芯片厂商,可在 ESP32、Arduino 等边缘设备上跑模型。