面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

开源文生视频和图生视频模型，CogVideoX 支持从文本或图片生成视频，适合搭建视频生成推理服务。

开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎，支持文生图、文生视频和世界模型，用线性注意力和 NVFP4 量化在低显存下实现快速生成。

面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。

把 Nunchaku 的 4-bit 量化扩散模型推理接进 ComfyUI，让 FLUX 等模型在低显存下也能快速出图。

AWQ 是一种激活感知的权重量化方法，能在几乎不损失精度的情况下把大模型压到 4bit，并配合高效推理内核显著降低显存占用、提升推理速度。

一套面向应用 AI 的实战教程，用 Jupyter Notebook 讲透大模型微调、推理与量化，帮工程师把 LLM 真正跑起来。

在 Apple Silicon 上做 W8A8/W4A8 量化推理，调用 M5 闲置的 INT8 TensorOps 让 LLM prefill 快 1.2–1.9 倍，并用类 FlashInfer 的 GQA 解码注意力加速 SDPA。

用 Rust 写的 RDNA 原生大模型推理引擎，直接跑在 AMD GPU 上，让 RDNA 显卡也能高效做 LLM 推理和量化。

面向大模型量化的压缩工具包，支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速，可无缝接入 HF、vLLM 和 SGLang 推理。

在笔记本 CPU 上本地跑二分类、多选和带概率打分的决策模型，是 Jev 和 Microsoft-Decision-1 的开源替代，支持 GGUF 量化推理。

给 vLLM 加一个免校准的 KV-cache 量化后端，只需一个开关就能把上下文拉长 3~5 倍，吞吐超过 FP16 且精度基本不掉，适合跑长上下文 Agent。

面向 Apple Silicon 的自适应混合精度量化与推理运行时，把 GGUF 模型转成 MLX 可用格式，让 Mac 上跑大模型更省显存。

在 DGX Spark 上跑 Qwen3.5-122B-A10B 的 INT4 量化推理方案，靠 AutoRound 加 MTP 把吞吐从 28.3 提到 51 tok/s，显存吃紧的单机也能跑大模型。

基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案，用于降低大模型推理时的显存占用。