Triton 是一门面向 GPU 编程的类 Python 语言及其编译器，让开发者不用写 CUDA 就能写出接近手写性能的高效内核。

用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。

把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

量化注意力算子库，在语言、图像、视频模型上比 FlashAttention 快 2-5 倍且不损失端到端精度，可直接替换加速推理。

一份系统梳理大模型推理的学习笔记，涵盖 Transformer 结构、KV Cache、CUDA 与 Triton 算子编程，以及 vLLM 等框架的源码分析。

从零实现的大模型蒸馏与推理服务引擎，包含自定义 Triton/CUDA 算子、FSDP 蒸馏、分页 KV 连续批处理、投机解码和 Rust 网关，适合研究推理加速与可解释性。

收录 CUDA、cuBLAS、CUTLASS、TensorRT-LLM、Triton、TVM、MLIR 等 GPU 加速与高性能计算开源项目的精选清单，方便按方向找底层算子、编译器和推理框架。