快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

ONNX 是开放的机器学习模型交换格式标准，让 PyTorch、TensorFlow、Keras 等框架训练出的模型能互相转换、跨平台部署。

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。

用一套可读的 Einstein 记号统一 PyTorch、JAX、TensorFlow 等框架的张量操作，让 reshape、转置、rearrange 这类代码更清晰、更不容易出错。