面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。
Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。
为容器提供用户态内核，在 Go 中实现 Linux 系统调用接口，让 Docker 和 Kubernetes 容器获得更强的安全隔离，同时保持 OCI 兼容。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器，让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
基于 PyTorch 的图神经网络库，提供图卷积等 GNN 模型的构建与训练组件，省去自己实现图数据结构和消息传递的麻烦。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK，覆盖 Android、iOS、Flutter，省去自己搭推理链路的麻烦。