面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。
用 8 个专家 Agent 组成一个统一的虚拟高管团队，对外呈现一致的高管人格，基于 FastAPI 和 Next.js 搭建，适合做多智能体协作与 RAG 决策辅助。
面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。
…b.com/PaddlePaddle/Paddle/pull/79632) 自动并行与 MoE / 专家并行：新增 MoE FSDP、GLM5 EP 推理、Qwen3-VL 适配与 SPMD 推导规则等能力（4 项）：[ 78392](https://github.com/PaddlePaddle/Paddle/pull/78392),
…现了分页键值缓存、连续批处理、 分块预填充、前缀缓存、推测性解码、CUDA 图、 张量并行、MoE 专家并行以及与 OpenAI 兼容的 HTTP 服务。 每项机制均已独立地与 HuggingFace Transformer 进行基准测试。 Full Changelog : https://github.com/psmarter/mini
…rge optimizer 时直接加载参数的问题进行修复 PR 9741 & PR 9821: 修复专家并行支持问题 [MergeKit 功能增强与优化](https://github.com/PaddlePaddle/PaddleNLP/pull/9811) 新增功能与优化 PR 9561: 新增 mergekit with spars
…异步保存逻辑（ 9173, 9274, 9321），显著提升了检查点的保存与加载效率。 - 增加了对专家并行的支持（ 9055），使模型训练更加灵活。 - 支持在开启sharding comm overlap时使用Unified Checkpoint。（ 9392） - 新增了Checkpoint压缩功能，最多可节省78.5%的存储空间。