飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。
基于飞桨的目标检测工具库,覆盖检测、实例分割、多目标跟踪和实时多人关键点检测,提供从训练到部署的完整流程。
基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。
Mooncake 是支撑 Kimi 大模型服务的推理平台,通过 KVCache 分离式架构和 RDMA 高速传输,把预填充与解码拆开部署,提升长上下文场景下的吞吐和资源利用率。
统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
开源推理研究平台,用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比,帮团队选型加速卡。
面向 Tenstorrent 加速卡的 TT-NN 算子库和 TT-Metalium 底层内核编程模型,让大模型和图像生成模型能在非 GPU 硬件上高效推理。