快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

高性能无锚框 YOLO 目标检测器，精度超过 YOLOv3~v5，支持 MegEngine、ONNX、TensorRT、ncnn 和 OpenVINO 多后端部署。

把 PyTorch 等导出的 ONNX 模型做图优化和算子融合，去掉冗余节点、简化计算图，方便部署和推理加速。

把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。

给 LLM 加一层语义缓存，相似问题直接命中缓存结果，省下重复调用 API 的钱和时间，已集成 LangChain 和 llama_index。

基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。

把 PyTorch、TorchScript 和 FX 模型编译成 TensorRT 引擎，在 NVIDIA GPU 上做推理加速，省去手写 TensorRT 网络的麻烦。

中文 LLaMA-2 与 Alpaca-2 大模型二期项目，提供支持 64K 超长上下文的中文预训练和指令微调模型，可直接用于长文本理解与对话。

开箱即用的扩散模型推理加速库，兼容 Diffusers 和 ComfyUI，通过编译优化和 LoRA 支持显著提升图像生成速度。

让大参数 Qwen 模型在消费级显卡上跑得动、跑得快：通过 vLLM 补丁和重量化流水线，单张 24GB 卡即可服务 27B 模型，并附完整基准测试。

把量化神经网络编译成 FPGA 上的数据流推理加速器，省去手写 RTL 的麻烦，适合做低延迟边缘部署。

把 ONNX 模型直接转成 TensorRT 引擎的官方解析器，让训练好的模型能在 NVIDIA GPU 上做高性能推理部署。

极快的 C++/CUDA 神经网络框架，专为 MLP 等小网络在 GPU 上训练和推理加速，常用于 NeRF 等实时渲染场景。

免训练稀疏注意力方案，可直接接入任意模型推理，加速 LLM、视觉 Transformer 和视频生成，无需重新训练即可降低注意力计算开销。

面向 Llama 及其变体的大模型推理加速引擎，用 CUDA 和 C++ 做底层优化，主打高吞吐低延迟的模型服务部署。

面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。

为 Transformers、Diffusers 等模型提供硬件加速与量化、ONNX 导出等优化工具，让推理和训练在各类硬件上跑得更快。

统一视频生成推理与后训练框架，支持扩散模型加速、蒸馏和微调，帮你在有限算力下更快跑出视频。

PyTorch 官方的量化与稀疏化工具库，支持训练和推理阶段的低精度计算，覆盖 float8、MX 等数据类型，可加速 Transformer 和 Llama 等大模型。

把 YOLOv8 的检测、分割、姿态模型导出为 ONNX 并用 TensorRT 加速推理，支持 Jetson 和 DeepStream 部署。

AWQ 是一种激活感知的权重量化方法，能在几乎不损失精度的情况下把大模型压到 4bit，并配合高效推理内核显著降低显存占用、提升推理速度。

基于浅层扩散机制的歌声合成与语音合成模型，AAAI 2022 官方实现，支持 MIDI 输入生成歌声，兼顾合成质量与推理速度。

把视频扩散模型的推理速度提升 100–200 倍，靠一致性蒸馏、稀疏线性注意力和 SageAttention 等系统级优化，让视频生成真正跑得动。

EAGLE 系列投机解码算法的官方实现，通过草稿模型加速大语言模型推理，在几乎不损失生成质量的前提下显著提升吞吐。

量化注意力算子库，在语言、图像、视频模型上比 FlashAttention 快 2-5 倍且不损失端到端精度，可直接替换加速推理。

用 torchao 和 diffusers 优化扩散模型的端到端教程，覆盖推理加速和 FP8 训练，帮你在 Flux 等文生图模型上省显存、提速度。

在普通电脑上跑 MiniMax H3 视频生成，最低 8GB 显存加 16GB 内存就能用，还会根据硬件自动选择加速方案。

给 vLLM 加一个免校准的 KV-cache 量化后端，只需一个开关就能把上下文拉长 3~5 倍，吞吐超过 FP16 且精度基本不掉，适合跑长上下文 Agent。

基于 CTranslate2 加速的 Whisper 命令行客户端，接口与 OpenAI 官方客户端兼容，能更快地做语音转文字。

对 ONNX 模型做图级优化的 Python 工具，通过算子融合、常量折叠等变换精简计算图，让推理更快、模型更小。

把 YOLO 全系列（v5 到 v12、YOLOX）模型转成 TensorRT 引擎做加速推理，内置 NMS 插件，省去自己写后处理的麻烦。

BiSeNet 语义分割网络的 PyTorch 实现，支持 Cityscapes、ADE20K、COCO-Stuff 数据集，并提供 ncnn、OpenVINO、TensorRT、Triton 等推理部署方案。

腾讯开源的模型压缩工具包，支持量化、投机解码和扩散模型加速，帮你在部署大模型时降低显存占用、提升推理效率。

从零实现的大模型蒸馏与推理服务引擎，包含自定义 Triton/CUDA 算子、FSDP 蒸馏、分页 KV 连续批处理、投机解码和 Rust 网关，适合研究推理加速与可解释性。

Datawhale 与 SGLang 官方合作的 LLM 推理课程，从零手写 mini-sglang 理解推理原理，再读真实源码并完成第一个 PR。

面向开发者的模型优化框架，能对扩散模型、LLM、语音识别等模型做压缩加速，以极低改造成本换来更快、更省资源的推理。