基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

DeepSpeed 官方示例集，提供各类模型接入 DeepSpeed 分布式训练的现成代码，方便照着改自己的训练脚本。

用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。

面向扩散模型的可扩展、显存优化训练框架，基于 PyTorch 和 Diffusers，让大模型微调在有限显存下也能跑起来。

GPTQ 是 ICLR 2023 论文的官方实现，能在训练后把 GPT 类大模型量化到 3/4 比特，几乎不掉精度，大幅降低显存占用和推理成本。

基于微软 VibeVoice 的多说话人语音合成 Web 系统，支持 LoRA 微调、批量生成和显存优化，开箱即用。

HQQ 是一种无需校准数据的大模型量化方法，官方实现支持几行代码把 LLM 压到低比特，省显存还能保持精度。

面向 LLM 和扩散 Transformer 的无损压缩方案，在 GPU 推理时压缩模型权重、降低显存占用，同时保持输出完全一致。

用 torchao 和 diffusers 优化扩散模型的端到端教程，覆盖推理加速和 FP8 训练，帮你在 Flux 等文生图模型上省显存、提速度。

免调优的 KV Cache 2bit 非对称量化方案，能大幅压缩大模型推理时的显存占用，让长上下文推理在有限显存下跑起来。

系统梳理大模型推理中 KV Cache 优化的综述仓库，按系统与架构视角归纳显存占用和吞吐瓶颈的各类优化方法，适合做推理加速选型时查阅。