飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。
在本地 GPU 和 NPU 上直接跑优化后的大模型,帮用户发现并启动本地 AI 应用,省去自己折腾推理环境的麻烦。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。
基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。
Mooncake 是支撑 Kimi 大模型服务的推理平台,通过 KVCache 分离式架构和 RDMA 高速传输,把预填充与解码拆开部署,提升长上下文场景下的吞吐和资源利用率。
面向 Windows 开发者的开源示例库,演示如何用本地模型和 API 给 Windows 应用加上 AI 能力,覆盖 ONNX Runtime、DirectML 和 NPU 加速。
面向大模型量化的压缩工具包,支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速,可无缝接入 HF、vLLM 和 SGLang 推理。
Xilinx 官方运行时库,让 AIE 和 FPGA 加速卡在 Linux 上跑起来,提供驱动、用户态 API 和编译工具链,方便把 AI 负载卸载到 Versal、Ryzen AI 等硬件。
在 Qualcomm NPU 上本地运行 AI Agent 的 C++ 框架,延迟低于 100ms,完全不依赖云端,适合车载、嵌入式和 IoT 场景。
面向 ASIC、FPGA 和 NPU 的加速器设计与编程框架,用 Python DSL 描述硬件,再经编译器生成高性能硬件实现。
把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用,减少重复计算,加快推理速度,兼容昇腾 NPU 和 CUDA GPU。
面向 ONNX 工作流的无代码命令行工具,能一键完成模型转换、基准测试和本地部署,省去手写脚本的麻烦。