在 RK3588 等瑞芯微芯片上快速装好并调用 NPU 的脚本工具,省去手动配置驱动和运行环境的麻烦,方便直接跑神经网络和 LLM 推理。
飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
在本地 GPU 和 NPU 上直接跑优化后的大模型,帮用户发现并启动本地 AI 应用,省去自己折腾推理环境的麻烦。
华为开源的深度学习训练与推理框架,覆盖移动端、边缘和云场景,主打国产 NPU 生态适配。
…Intel XPU (e.g., local PC with iGPU and NPU, discrete GPU such as Arc, Flex and Max); seamlessly integrate with llama.cpp, …
统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件,帮你在国产算力上部署大模型服务。
基于新一代 Kaldi 和 onnxruntime 的离线语音工具包,一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD,可跑在嵌入式、手机和服务器上。
专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎,几分钟内就能在 AMD NPU 上跑起 LLM,省去繁琐配置。
开源云原生一站式机器学习与大模型平台,覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS,支持昇腾等国产异构算力调度。
云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。
在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图,支持工具调用与局域网服务,无需账号和 API Key。
面向 Windows 开发者的开源示例库,演示如何用本地模型和 API 给 Windows 应用加上 AI 能力,覆盖 ONNX Runtime、DirectML 和 NPU 加速。
基于 PyTorch 的推荐模型训练框架,封装了 CTR 预估、生成式推荐等常用算法,开箱即用且方便扩展,支持昇腾 NPU 和 ONNX 导出。
在 Qualcomm NPU 上本地运行 AI Agent 的 C++ 框架,延迟低于 100ms,完全不依赖云端,适合车载、嵌入式和 IoT 场景。
一款简单易用、高性能的 AI 部署框架,支持 ONNX Runtime、MNN、昇腾等多种推理后端,用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。
基于 MLIR 的开源编译器工具链,提供贴近硬件的 Python API,用来给 AMD Ryzen AI NPU(AI Engine)编写和编译算子程序。
Xilinx 官方运行时库,让 AIE 和 FPGA 加速卡在 Linux 上跑起来,提供驱动、用户态 API 和编译工具链,方便把 AI 负载卸载到 Versal、Ryzen AI 等硬件。
在瑞芯微 NPU 上跑大模型的推理服务,类似 Ollama 的替代方案,通过优化 rkllm 让 Orange Pi 等设备高效离线运行 AI 模型。
在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型,用同一端口同时提供 OpenAI 与 Anthropic 兼容 API,让本地推理像调前沿云服务一样顺手。
跨平台命令行工具,用同一套测试测 CPU、GPU、NPU 的峰值算力、内存带宽和延迟,覆盖 CUDA、Metal、OpenCL 等主流 API。
面向边缘设备的实时无锚框目标检测器,精度不错,支持 ONNX、MNN 及 RK3588、昇腾等国产 NPU 部署。
面向大模型量化的压缩工具包,支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速,可无缝接入 HF、vLLM 和 SGLang 推理。
自托管的 AI Agent 操作系统,把记忆、聊天、Agent 和文件都留在自己的硬件上,默认离线运行,还能把树莓派、Mac mini、游戏 PC 自动组集群。
把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用,减少重复计算,加快推理速度,兼容昇腾 NPU 和 CUDA GPU。
面向 ASIC、FPGA 和 NPU 的加速器设计与编程框架,用 Python DSL 描述硬件,再经编译器生成高性能硬件实现。
一站式虚拟化管理平台,用 Go 编写,统一管理 Proxmox VE、LXD/Incus(含 GPU)、Docker、Podman、KubeVirt 等多种虚拟化与容器运行时。
爱芯元智 AI SoC 的示例代码集合,提供 YOLO 系列等视觉模型在 NPU 上的部署样例,帮开发者快速跑通模型推理。
西北工业大学本科、硕士、博士学位论文的 LaTeX 模板,按学校排版规范生成封面、目录和参考文献,省去手动调格式的麻烦。
ONNXim 是一个周期级多核 NPU 模拟器,能快速仿真 DNN 推理在 NPU 上的执行过程,帮助评估和优化硬件设计。
面向 ONNX 工作流的无代码命令行工具,能一键完成模型转换、基准测试和本地部署,省去手写脚本的麻烦。
… frontends, blank/truncated/missing/compact CMVN input, shipped am.mvn feature equality, package contracts, build/install metadata, and exact-head/main CI. It does not cl
…benchmarks, Seaco timestamp-output tests, Windows/NPU validation, or a full-suite result. Assets: wheel, source distribution, and SHA256SUMS covering both payloads. GitHu
…lease on top of v0.4.2 with two fixes. Strix Halo NPU trunk: the built-in calibration now applies on any Halo kernel and NPU firmware. Before this release, npu trunk=auto
…ek-Varma Added the VE3858 target model , improved NPU2/Gorgon Point support, and fixed Strix-family hardware context limits → @fifield, @atassis, @bong-water-water-bong A
…text-attention/pull/159 Adapted for Huawei Ascend npu by @endymion-ni in https://github.com/feifeibear/long-context-attention/pull/162 Adapted Ascend npu for LongContextA
…Ov7 - 优化SFT pipeline 6. 部署与运维优化 - 支持SSH Proxy - 优化NPU监控 - 生产部署后端代理模式支持gevent - 优化KubeKey离线部署 - 支持Harbor HTTPS部署 - 修复模型发布名称重复报错 - 支持快速卸载AIHub应用 - 优化初始化示例 7. 前端与用户体验 - 修正前端