飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。
基于 PyTorch 的深度学习优化库,通过 ZeRO、模型并行和混合专家等技术,让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
…machine learning framework designed for training models with billions to trillions of parameters
只需几行代码就能把 PyTorch 模型跑在任意设备或分布式配置上,自动处理混合精度(含 fp8)和 FSDP、DeepSpeed 配置,省去手写分布式训练样板代码的麻烦。
一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
DeepSpeed 官方示例集,提供各类模型接入 DeepSpeed 分布式训练的现成代码,方便照着改自己的训练脚本。
云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。
把 AI 研究与工程技能打包成可复用模块,接入 Claude Code、Codex、Gemini 等编码代理后即可获得完整科研能力。
基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。
PyTorch 官方的生成式 AI 模型训练平台,提供原生分布式训练组件和可复用的并行策略,帮你在多卡集群上高效训练大模型。
面向 AI/ML 工作流的 Python 编排框架,用装饰器写 DAG,支持本地到 Kubernetes、多云部署,并带实验追踪和成本优化。
面向大语言模型的强化学习训练框架,支持分布式训练与智能体工作流,让开发者能低成本训练和调优推理模型。
基于 Spark 的分布式机器学习库,把 LightGBM、深度学习、认知服务等算法封装成易用 API,让大数据场景下的训练和推理可以直接在集群上跑。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
Detectron2 是 Facebook 开源的目标检测与分割平台,提供模块化架构和丰富预训练模型,方便快速搭建和训练视觉识别任务。
高性能分布式图数据库,专为实时查询场景设计,支持知识图谱等大规模关联数据的存储与毫秒级检索。
高性能云原生向量数据库,专为大规模向量近似最近邻检索设计,适合搭建以图搜图、语义搜索和 RAG 等应用。
开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。
面向大模型后训练的强化学习框架,用混合编程模型把 RLHF 训练流程编排得灵活又高效,方便扩展和跑大规模实验。
统一的 PyTorch 训练框架,让同一份代码在单卡到上万张 GPU 上都能跑,免去改代码就能做预训练和微调。
汇集大模型技术原理与实战经验的开源知识库,覆盖训练、推理、部署和工程化落地全流程,适合系统学习大模型应用开发。
基于 PyTorch 的强化学习算法库,提供 PPO、SAC、TD3 等常用算法的可靠实现,开箱即用,适合机器人控制和仿真环境训练。
从下载数据到生成文本,手把手教你从零训练自己的大语言模型,适合想搞懂 LLM 训练全流程的开发者动手实践。
开源实现的 CLIP 多模态模型,提供图像-文本对比学习训练与预训练权重,支持零样本图像分类和跨模态检索。
开源分布式图数据库,支持水平扩展和高可用,适合存储超大规模图数据并做低延迟查询,可用于知识图谱和 GraphRAG 场景。
基于 Kubernetes 的云原生机器学习平台,把训练、流水线编排、模型服务和 Notebook 开发统一到容器化集群里,解决 MLOps 各环节割裂、难以规模化调度的问题。
NVIDIA 官方多 GPU 集合通信库,提供 all-reduce、broadcast 等优化通信原语,是分布式深度学习训练中跨卡数据同步的底层依赖。
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」,自动选最便宜的可用算力跑训练、微调和推理任务,省去手动比价与跨云管理。
基于 Ray 的高性能 RLHF 训练框架,支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速,可扩展地完成大模型和视觉语言模型的对齐后训练。
面向 AI 研究者的开源实验环境,可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。
封神榜大模型是 IDEA 研究院开源的中文大模型体系,提供预训练模型、分布式训练和多模态能力,为中文 AIGC 与认知智能应用提供基础模型支撑。
面向 AI 与多模态负载的高性能数据引擎,用 Rust 编写,能大规模处理图像、音频、视频和结构化数据,适合搭建 ETL 与数据管道。
一套加速深度学习研发的 PyTorch 高层框架,提供可复用的训练循环、分布式训练和指标回调,省去反复搭训练脚手架的时间。
在 Kubernetes 上跑分布式模型训练和大模型微调的框架,把多机多卡任务编排成 K8s 原生作业,省去自己搭训练集群的麻烦。
OpenMMLab 生态的深度学习训练基础库,统一封装训练循环、配置系统和分布式训练等底层能力,让算法开发者专注模型本身而不用重复搭建训练脚手架。
一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
用 Go 实现的分布式私有网络工具,把多台机器组成加密的虚拟内网,方便跨机房、跨云互联而不依赖中心网关。
一门讲高效深度学习系统的课程材料,覆盖 CUDA 编程、分布式训练和推理优化,帮你搞懂怎么把模型训得更快、跑得更省。
基于 PyTorch 原生分布式训练的 LLM/VLM 训练库,开箱即用兼容 Hugging Face,方便微调 Llama、Gemma、GLM 等主流大模型。
Lingvo 是 Google 开源的序列建模框架,用 TensorFlow 搭建语音识别、机器翻译、语言模型等 NLP 任务,支持分布式 GPU 训练。
…围绕大模型训练的训练效率、算子正确性、稳定性以及国产硬件适配等关键领域持续迭代。本版本新增面向大规模分布式训练的高性能 Muon 优化器;持续打磨核心算子的数值精度,并针对大模型训练中高频出现的大 Shape Tensor、0-Size Tensor 场景做了系统性的正确性排查与修复,进一步夯实大模型训练的稳定性与正确性。同时,生态兼容能
…本中自动检测并设置 set z3 leaf modules,确保 DeepSpeed ZeRO-3 分布式训练下 MoE 模块不会被错误分片。同时兼容已有的 Mixtral 和 DeepSeek-V3 MoE 模型。 项目结构重组 将根目录 38 个散落文件按功能重组到 5 个子目录,提升教学仓库的可读性: MedicalGPT/ ├──
…版本在分布式并行、算子机制、硬件适配三个方面完成多项优化与升级,进一步提升框架性能与稳定性。 1. 分布式训练 - 优化 FlexCheckpoint 的重切分通信流程; 为 paddle.nn.Layer 新增 full 接口, 用于返回完整模型参数; 支持加载 HuggingFace 开源格式的 Checkpoint。([ 76249
…- 修正大模型推理的启动命令 - 优化mindie模型的发布功能 - 优化llamafactory 分布式训练 - 增加llamafactory分布式示例 - 升级llama factory 支持多模态大模型训练 - 升级gpt5 - 支持vllm推理框架 - 丰富模型量化支持“gptq","awq","gguf","hf quantiz
…- 修正大模型推理的启动命令 - 优化mindie模型的发布功能 - 优化llamafactory 分布式训练 - 增加llamafactory分布式示例 - 升级llama factory 支持多模态大模型训练 - 升级gpt5 - 支持vllm推理框架 - 丰富模型量化支持“gptq","awq","gguf","hf quantiz
…大模型训练的正确性和稳定性;性能层面,在提高部分关键框架API和FP8场景下的量化计算效率的同时增强分布式训练场景下FP8量化和流水线并行效率,大幅提升训练吞吐。扩展自动并行架构的切分推导覆盖范围;推理部署提高兼容性的同时进一步增强EP并行推理能力;整体上在保持API兼容性的基础上构建出更稳健、高效的大模型研发技术底座。 算子与执行体系正