用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

高性能无锚框 YOLO 目标检测器，精度超过 YOLOv3~v5，支持 MegEngine、ONNX、TensorRT、ncnn 和 OpenVINO 多后端部署。

提供可插拔的 Python 和 C++ 多目标跟踪模块，集成 BoT-SORT、ByteTrack、OC-SORT 等 SOTA 算法，支持轴对齐与旋转框跟踪。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。