让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件,帮你在国产算力上部署大模型服务。
飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。
云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。
统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
面向生产环境的端到端语音识别工具包,基于 PyTorch 提供 Conformer、Transformer 等模型,可直接训练和部署 ASR 服务。
面向中文用户的 Linux 环境大模型实战教程,手把手教你在本地微调(全参数/LoRA)和部署国内外开源 LLM 与多模态模型。
基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。
基于飞桨的一站式开发工具,把分类、检测、分割、OCR、语音识别等任务封装成流水线,支持训练到部署全流程。
一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
华为开源的深度学习训练与推理框架,覆盖移动端、边缘和云场景,主打国产 NPU 生态适配。
开源云原生一站式机器学习与大模型平台,覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS,支持昇腾等国产异构算力调度。
一款简单易用、高性能的 AI 部署框架,支持 ONNX Runtime、MNN、昇腾等多种推理后端,用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。
基于 PyTorch 的推荐模型训练框架,封装了 CTR 预估、生成式推荐等常用算法,开箱即用且方便扩展,支持昇腾 NPU 和 ONNX 导出。
面向大模型量化的压缩工具包,支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速,可无缝接入 HF、vLLM 和 SGLang 推理。
把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用,减少重复计算,加快推理速度,兼容昇腾 NPU 和 CUDA GPU。
面向边缘设备的实时无锚框目标检测器,精度不错,支持 ONNX、MNN 及 RK3588、昇腾等国产 NPU 部署。