在 RK3588 等瑞芯微芯片上快速装好并调用 NPU 的脚本工具，省去手动配置驱动和运行环境的麻烦，方便直接跑神经网络和 LLM 推理。

飞桨核心框架，提供深度学习与机器学习的高性能单机及分布式训练能力，并支持跨平台部署，适合工业级模型开发。

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。

在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

基于新一代 Kaldi 和 onnxruntime 的离线语音工具包，一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD，可跑在嵌入式、手机和服务器上。

统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。

云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。

开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。

面向生产环境的端到端语音识别工具包，基于 PyTorch 提供 Conformer、Transformer 等模型，可直接训练和部署 ASR 服务。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

基于飞桨的一站式开发工具，把分类、检测、分割、OCR、语音识别等任务封装成流水线，支持训练到部署全流程。

华为开源的深度学习训练与推理框架，覆盖移动端、边缘和云场景，主打国产 NPU 生态适配。

让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。

专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎，几分钟内就能在 AMD NPU 上跑起 LLM，省去繁琐配置。

开源云原生一站式机器学习与大模型平台，覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS，支持昇腾等国产异构算力调度。

在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图，支持工具调用与局域网服务，无需账号和 API Key。

一款简单易用、高性能的 AI 部署框架，支持 ONNX Runtime、MNN、昇腾等多种推理后端，用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。

在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型，用同一端口同时提供 OpenAI 与 Anthropic 兼容 API，让本地推理像调前沿云服务一样顺手。

在瑞芯微 NPU 上跑大模型的推理服务，类似 Ollama 的替代方案，通过优化 rkllm 让 Orange Pi 等设备高效离线运行 AI 模型。

在 Qualcomm NPU 上本地运行 AI Agent 的 C++ 框架，延迟低于 100ms，完全不依赖云端，适合车载、嵌入式和 IoT 场景。

面向大模型量化的压缩工具包，支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速，可无缝接入 HF、vLLM 和 SGLang 推理。

把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用，减少重复计算，加快推理速度，兼容昇腾 NPU 和 CUDA GPU。

自托管的 AI Agent 操作系统，把记忆、聊天、Agent 和文件都留在自己的硬件上，默认离线运行，还能把树莓派、Mac mini、游戏 PC 自动组集群。

爱芯元智 AI SoC 的示例代码集合，提供 YOLO 系列等视觉模型在 NPU 上的部署样例，帮开发者快速跑通模型推理。

ONNXim 是一个周期级多核 NPU 模拟器，能快速仿真 DNN 推理在 NPU 上的执行过程，帮助评估和优化硬件设计。