标签：昇腾 NPU

统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。

cube-studio

data-infra·Python

开源云原生一站式机器学习与大模型平台，覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS，支持昇腾等国产异构算力调度。

一款简单易用、高性能的 AI 部署框架，支持 ONNX Runtime、MNN、昇腾等多种推理后端，用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。

基于 PyTorch 的推荐模型训练框架，封装了 CTR 预估、生成式推荐等常用算法，开箱即用且方便扩展，支持昇腾 NPU 和 ONNX 导出。

edgeyolo

LSH9832·Python

面向边缘设备的实时无锚框目标检测器，精度不错，支持 ONNX、MNN 及 RK3588、昇腾等国产 NPU 部署。

把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用，减少重复计算，加快推理速度，兼容昇腾 NPU 和 CUDA GPU。