基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。

AWQ 是一种激活感知的权重量化方法，能在几乎不损失精度的情况下把大模型压到 4bit，并配合高效推理内核显著降低显存占用、提升推理速度。

面向高分辨率生成与感知的高效视觉基础模型，通过轻量架构设计降低计算开销，可用于图像分类、分割等任务。

面向 Tenstorrent 加速卡的 TT-NN 算子库和 TT-Metalium 底层内核编程模型，让大模型和图像生成模型能在非 GPU 硬件上高效推理。

纯 Rust 实现的大模型推理引擎，支持 Transformer、Mamba/SSM、投机解码和 NVFP4 量化，兼容 OpenAI API，适合在 DGX 等硬件上部署高效推理服务。

统一的多模态大模型，能高效理解图像、高分辨率图像和视频，用极少的视觉 token 完成多模态推理，适合显存和算力受限的场景。

为 VapourSynth 视频处理框架提供 CPU/GPU 高效推理运行时，内置 waifu2x、Real-ESRGAN、RIFE、Real-CUGAN 等超分、降噪、插帧模型，方便在视频后期流程里直接调用。

整理模型量化领域的论文、基准、综述和工具，覆盖低比特网络、大模型、多模态生成模型以及向量与格量化，方便做高效推理部署时查资料。

整理大模型高效化研究的资源清单，汇总量化、剪枝、知识蒸馏等压缩与加速方向的论文和工具，方便快速找到降低推理成本的方法。

汇总扩散模型等生成模型加速推理的资源清单，涵盖图像与视频生成的高效采样、模型压缩等方向，方便快速查找相关论文和代码。

整理扩散模型高效化方向的论文与代码合集，覆盖图像、视频、世界模型和语言生成，聚焦加速、量化、压缩、缓存与蒸馏。