把训练好的模型快速封装成推理 API 和任务队列,支持 LLM 应用与多模型流水线,省去自己搭服务框架的麻烦。
面向云端和数据中心的高性能推理服务端,支持多种深度学习框架模型部署,并可在边缘设备上运行。