基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。
快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器，让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。
DeepSpeed 官方示例集，提供各类模型接入 DeepSpeed 分布式训练的现成代码，方便照着改自己的训练脚本。
NVIDIA 官方多 GPU 集合通信库，提供 all-reduce、broadcast 等优化通信原语，是分布式深度学习训练中跨卡数据同步的底层依赖。
让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。
单张图片就能快速重建出 3D 物体模型的前馈生成模型，适合需要批量产出 3D 资产的场景。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
把强化学习接到 LLM Agent 应用上的训练框架，让 Agent 能在真实任务中通过 RL 持续优化策略，配置简单、扩展灵活。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
3D Gaussian Splatting 的官方参考实现，用高斯点云做辐射场重建，实现实时可交互的逼真场景渲染。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。
用 LoRA、Adapter 等少量参数微调大模型和扩散模型，大幅降低显存与训练成本，是 Hugging Face 生态里做参数高效微调的标准库。
面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。
用 C++ 写的图像处理与数据并行计算 DSL，把算法和调度分开描述，自动生成适配 CPU、GPU 等硬件的高性能代码。
提供一套稳健的训练配方，用人类和 AI 偏好数据对齐语言模型，涵盖 SFT、DPO 等流程，帮你把基座模型调成听话好用的助手。
GPU 加速的数据预处理库，提供高度优化的图像、音频处理算子和执行引擎，解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
用大语言模型把编译后的二进制代码还原成可读源码，为逆向工程提供自动化反编译能力。
无需写代码就能微调大语言模型的可视化界面，从数据准备到训练评估一站式完成，适合不想碰命令行直接调模型的团队。