用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

把 YOLOv8 的检测、分割、姿态模型导出为 ONNX 并用 TensorRT 加速推理，支持 Jetson 和 DeepStream 部署。

基于 TensorRT 的 YOLO 系列模型部署工具包，支持检测、分割、姿态估计和旋转框检测，帮你在 NVIDIA 显卡上把推理跑得更快更省事。

开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

基于 TensorRT 和 CUDA 加速 YOLO 系列模型部署的 C++ 示例库，覆盖检测、姿态、分割、深度估计、OBB 和分类等任务，帮你在 NVIDIA 显卡上把推理跑得更快。

把 YOLO 全系列（v5 到 v12、YOLOX）模型转成 TensorRT 引擎做加速推理，内置 NMS 插件，省去自己写后处理的麻烦。

用 C++ 把 YOLOv8 模型部署到 TensorRT 上做高性能推理，适合需要低延迟目标检测的工程落地场景。

基于 tensorRT_Pro 扩展的 TensorRT C++ 推理库，集成 YOLO、RT-DETR、PPOCR、车道线检测、深度估计等多类视觉模型，提供高性能部署方案。

把 YOLO11 的检测、姿态估计、分割和跟踪模型用 TensorRT v8.0+ 部署到 C++ 和 Python 接口，省去自己写推理代码的麻烦。

基于 PyTorch 的目标检测全家桶，覆盖训练、推理、实例分割、图像分类和模型导出，开箱即用，适合快速落地视觉任务。

用 YOLOv8 做检测、ByteTrack 做跟踪的目标跟踪工程，通过 C++ 和 TensorRT 加速推理，适合需要实时多目标跟踪的部署场景。

面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。

高性能无锚框 YOLO 目标检测器，精度超过 YOLOv3~v5，支持 MegEngine、ONNX、TensorRT、ncnn 和 OpenVINO 多后端部署。

基于 PyTorch 的 YOLOv3 系列实现，覆盖训练、验证、推理全流程，并支持导出 ONNX、CoreML、TensorRT 等多种格式，方便做实时目标检测和边缘部署。

把 YOLO 系列模型接入 NVIDIA DeepStream SDK 的推理实现，支持 Darknet、PyTorch、Paddle 等多种权重格式，方便在 Jetson 和 GPU 上做实时目标检测部署。

基于 Kubernetes Operator 的大模型推理部署引擎，统一管理 GPU 调度与模型生命周期，兼容 SGLang、vLLM、TensorRT-LLM 和 Triton 等主流推理后端。

用 ONNX 模型给视频做超分和插帧的图形界面工具，在 Windows 和 Linux 上通过 TensorRT 或 DirectML 加速推理。

基于 C++ 和 TensorRT 的 RF-DETR 推理引擎，支持目标检测与实例分割，可在 NVIDIA GPU 和 Jetson 上以 FP32/FP16/INT8 量化部署。

整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。