用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子,减少显存占用并提升微调吞吐,兼容 Llama、Mistral、Gemma、Phi 等主流模型。
ONNX 是开放的机器学习模型交换格式标准,让 PyTorch、TensorFlow、Keras 等框架训练出的模型能互相转换、跨平台部署。
基于 PyTorch 的几何计算机视觉库,提供可微分的图像处理与几何变换算子,方便在空间 AI 和机器人任务中搭建视觉模型。
面向大模型训练的数据处理流水线,把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。
把 ONNX、PyTorch、Keras、CoreML 等格式的神经网络模型直接拖进浏览器就能看结构图,排查模型转换和层连接问题很方便。
Rust 写的张量库和深度学习框架,兼顾灵活性与效率,支持自动微分、跨平台后端和内核融合,可训练和部署神经网络。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器,让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
用 C++ 写的图像处理与数据并行计算 DSL,把算法和调度分开描述,自动生成适配 CPU、GPU 等硬件的高性能代码。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
用遗传编程自动搜索并优化机器学习流水线,涵盖特征工程、模型选择和超参数调优,省去手工试错。
在不同深度学习框架之间转换模型并可视化网络结构,支持 Caffe、Keras、MXNet、TensorFlow、PyTorch、ONNX、CoreML 等格式互转。
PyTorch 官方的端侧推理框架,把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行,覆盖 CPU、GPU 等多种后端。
GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
用 TensorRT 网络定义 API 手写实现 YOLO、ResNet、Swin Transformer 等主流深度学习模型,并附 C++ 推理代码,方便直接部署到 NVIDIA GPU。
用 CUDA 加速高斯泼溅光栅化,让 3D 高斯场景的训练和渲染跑得更快,适合做三维重建与实时渲染。
NVIDIA 官方多 GPU 集合通信库,提供 all-reduce、broadcast 等优化通信原语,是分布式深度学习训练中跨卡数据同步的底层依赖。
面向系统工程师的实战课程,在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型,帮你搞懂大模型推理系统的内部机制。
基于 PyTorch 的目标检测全家桶,覆盖训练、推理、实例分割、图像分类和模型导出,开箱即用,适合快速落地视觉任务。
YOLO 系列官方实现库,一套 PyTorch 代码覆盖目标检测、实例与语义分割、图像分类、姿态估计和目标跟踪,训练到部署全流程打通。
把 PyTorch、TensorFlow、JAX、NumPy 等框架的机器学习代码互相转换,省去为不同框架重写模型的麻烦。
面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。
用 Python 编排数据管道的工作流框架,带重试、调度和可观测性,让数据与 ML 流水线在生产环境稳定跑起来。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
给 Postgres 加上向量相似度检索能力的开源扩展,支持精确和近似最近邻搜索,让 RAG 和语义检索直接跑在现有数据库里。
基于 PyTorch 的深度学习优化库,通过 ZeRO、模型并行和混合专家等技术,让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
跨平台图片超分辨率工具,基于 PyTorch 模型把低清图片放大变清晰,支持多语言,桌面端开箱即用。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
提供大量预训练、前沿的 ONNX 格式模型,可直接下载用于推理部署或迁移学习,省去自己转换和训练的成本。
让大模型在普通显卡上跑起来的 PyTorch 量化库,支持 8-bit 和 4-bit 权重压缩,也是 QLoRA 微调背后的核心依赖。
开源复现 DeepMind AlphaEvolve 的进化式编码 Agent,用遗传算法和分布式进化自动搜索并优化代码,适合做算法发现与程序自动改进。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
基于飞桨的目标检测工具库,覆盖检测、实例分割、多目标跟踪和实时多人关键点检测,提供从训练到部署的完整流程。
基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。