让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件,帮你在国产算力上部署大模型服务。
飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。
云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
面向中文用户的 Linux 环境大模型实战教程,手把手教你在本地微调(全参数/LoRA)和部署国内外开源 LLM 与多模态模型。
面向生产环境的端到端语音识别工具包,基于 PyTorch 提供 Conformer、Transformer 等模型,可直接训练和部署 ASR 服务。
基于飞桨的目标检测工具库,覆盖检测、实例分割、多目标跟踪和实时多人关键点检测,提供从训练到部署的完整流程。
基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。
统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
基于飞桨的一站式开发工具,把分类、检测、分割、OCR、语音识别等任务封装成流水线,支持训练到部署全流程。
一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
一款简单易用、高性能的 AI 部署框架,支持 ONNX Runtime、MNN、昇腾等多种推理后端,用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。
华为开源的深度学习训练与推理框架,覆盖移动端、边缘和云场景,主打国产 NPU 生态适配。
基于 PyTorch 的推荐模型训练框架,封装了 CTR 预估、生成式推荐等常用算法,开箱即用且方便扩展,支持昇腾 NPU 和 ONNX 导出。
让 HuggingFace 上的 Transformers 和 Diffusers 模型无缝跑在昇腾 MindSpore 上,省去手动迁移适配的麻烦,并支持加速。
开源云原生一站式机器学习与大模型平台,覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS,支持昇腾等国产异构算力调度。
把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用,减少重复计算,加快推理速度,兼容昇腾 NPU 和 CUDA GPU。
面向大模型量化的压缩工具包,支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速,可无缝接入 HF、vLLM 和 SGLang 推理。
面向边缘设备的实时无锚框目标检测器,精度不错,支持 ONNX、MNN 及 RK3588、昇腾等国产 NPU 部署。
…统计、新增 N M 乘法语法、统一 vGPU 资源解析;对接现有 HAMi 方法。 - 异构算力(含昇腾)租赁支持,新增 vLLM 昇腾示例;显存租赁值修正。 - 支持自定义 gpu=true 机器标签。 - 修复 GPU 利用率弹性伸缩、不同优先级服务之间算力调节的 bug。 - 基础 GPU 镜像 CUDA 版本升级。 - LLaMA
…专题两篇 硬件与编程 (+106):HBF vs HBM 的 token 成本账;NPU 编程系列(昇腾全栈 38 篇);CUDA/TileLang 与性能调优 成本与课程 :AI Infra 入门讲座(90 分钟 · 四层杠杆);Token Factory 图文讲解;11 款 Coding Plan 订阅对比 体系配套:pre-comm
…件即可启动多节点、多实例、PD 分离等复杂任务。 - 新增功能: - 新模型:GLM-5.2。 - 昇腾 910B 平台支持 GLM-5 系列。 - 支持在请求中设置 reasoning effort 。 - 增加 DeepSeek-V4 工具调用支持。 - INT8 W8A8 MoE 增加 triton 算子实现。 - 支持 prefi
…-beijing.cr.volces.com/public/chitu-muxi:v0.5.7 - 昇腾 / Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend a2:v0.5.7
…-beijing.cr.volces.com/public/chitu-muxi:v0.5.6 - 昇腾 / Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend a2:v0.5.6
…的 allreduce 性能。 - 删除了 infer.use cuda graph=auto 时在昇腾平台上默认关闭 graph 的一项过时判断。 - 重构算子分发逻辑。 - 重构异步调度。 - 改进代码仓库中的若干测试。 ------ - Added support for LLaDA2.1-mini and LLaDA2.1-fla