面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
本地跑和训练大模型、扩散模型的图形界面,支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型,省去命令行配置的麻烦。
统一的 PyTorch 训练框架,让同一份代码在单卡到上万张 GPU 上都能跑,免去改代码就能做预训练和微调。
开源的大规模视频生成模型,支持高质量文生视频,为 AIGC 视频创作提供可用的生成能力。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
提供 20 多个高性能大语言模型的训练配方,覆盖预训练、微调和规模化部署全流程,适合想快速上手 LLM 训练与推理的开发者。
基于 PyTorch 的深度学习优化库,通过 ZeRO、模型并行和混合专家等技术,让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
腾讯混元开源的大规模视频生成框架,基于扩散 Transformer 把文本提示直接生成连贯视频,适合做文生视频研究和应用落地。
RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构,支持像 GPT 一样并行训练,推理时线性时间、常量显存、无限上下文,无需 KV 缓存。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。
集成 Waifu2x、Real-ESRGAN、Real-CUGAN 等多种超分模型与 RIFE 等补帧算法的图形界面工具,可批量放大视频、图片和 GIF 并提升帧率。
面向语音 AI 的可扩展生成式框架,覆盖语音识别、语音合成、说话人分离与语音翻译,方便研究和开发人员训练部署语音模型。
无需训练即可修改语言模型行为,通过消融技术去除审查、抑制废话、减少谄媚,让模型输出更直接可控。
基于 Ray 的高性能 RLHF 训练框架,支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速,可扩展地完成大模型和视觉语言模型的对齐后训练。
开源视频生成模型,用高效架构和训练方案降低高质量视频制作门槛,让普通开发者也能训练和部署文生视频模型。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
用强化学习训练 Transformer 语言模型的全流程库,覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法,省去自己拼训练管线。
通义开源深度研究智能体,能自主规划多步检索、浏览网页并整合信息,产出带引用的研究报告,适合做调研问答和资料汇总。
把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务,省去自己搭推理后端的麻烦。
基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。
开源云原生一站式机器学习与大模型平台,覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS,支持昇腾等国产异构算力调度。
在 Kubernetes 上跑分布式模型训练和大模型微调的框架,把多机多卡任务编排成 K8s 原生作业,省去自己搭训练集群的麻烦。
开源 AI 工作站整机方案,覆盖 2 卡桌面到 8 卡服务器,提供 CAD 图纸、BOM 清单、BIOS 配置和装机指南,方便自建本地大模型推理机器。