用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

把 YOLOv8 的检测、分割、姿态模型导出为 ONNX 并用 TensorRT 加速推理，支持 Jetson 和 DeepStream 部署。

基于 TensorRT 和 CUDA 加速 YOLO 系列模型部署的 C++ 示例库，覆盖检测、姿态、分割、深度估计、OBB 和分类等任务，帮你在 NVIDIA 显卡上把推理跑得更快。

把 YOLO 全系列（v5 到 v12、YOLOX）模型转成 TensorRT 引擎做加速推理，内置 NMS 插件，省去自己写后处理的麻烦。

用 YOLOv8 做检测、ByteTrack 做跟踪的目标跟踪工程，通过 C++ 和 TensorRT 加速推理，适合需要实时多目标跟踪的部署场景。

高性能无锚框 YOLO 目标检测器，精度超过 YOLOv3~v5，支持 MegEngine、ONNX、TensorRT、ncnn 和 OpenVINO 多后端部署。

把 OpenAI Whisper 做成近实时的语音转文字服务，支持 TensorRT、OpenVINO、ROCm 等硬件加速，适合直播字幕和听写场景。

开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

用 ONNX 模型给视频做超分和插帧的图形界面工具，在 Windows 和 Linux 上通过 TensorRT 或 DirectML 加速推理。

整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。