用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

让视频扩散模型在普通显卡上也能跑起来，通过帧打包技术大幅降低显存占用，实现实用的长视频生成。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

用 CUDA 加速高斯泼溅光栅化，让 3D 高斯场景的训练和渲染跑得更快，适合做三维重建与实时渲染。

单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎，支持100多种语言，并按请求自动路由到合适的检查点。

在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

Meta 开源的 SAM 2 图像与视频通用分割模型，提供推理代码、预训练权重下载和示例 notebook，可对任意画面中的物体做可提示分割与视频目标跟踪。

轻量级 C++ 网格优化库，通过顶点缓存重排、索引压缩和网格简化，让 3D 模型体积更小、GPU 渲染更快。

面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。

单张图片就能快速重建出 3D 物体模型的前馈生成模型，适合需要批量产出 3D 资产的场景。

开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。

像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率，还能导出指标接入 Grafana 做监控面板。

用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。

把 PNG、JPEG 等图片压成 GPU 可直接采样的纹理格式，支持 KTX2 和 Basis 超压缩，显著减小游戏与实时渲染中的显存占用和包体大小。

AWQ 是一种激活感知的权重量化方法，能在几乎不损失精度的情况下把大模型压到 4bit，并配合高效推理内核显著降低显存占用、提升推理速度。

面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。

GPTQ 是 ICLR 2023 论文的官方实现，能在训练后把 GPT 类大模型量化到 3/4 比特，几乎不掉精度，大幅降低显存占用和推理成本。

用张量分解来建模和重建辐射场，把 NeRF 的显存占用和训练时间大幅压下来，同时保持渲染质量。

PyTorch 量化后端，接入 Optimum 生态，支持多种量化方案，帮你在推理和训练中压缩模型、降低显存占用。

腾讯开源的模型压缩工具包，支持量化、投机解码和扩散模型加速，帮你在部署大模型时降低显存占用、提升推理效率。

用 Rust 写的 NVIDIA GPU 终端监控面板，能实时查看显存占用和进程，比反复敲 nvidia-smi 更直观高效。

面向 LLM 和扩散 Transformer 的无损压缩方案，在 GPU 推理时压缩模型权重、降低显存占用，同时保持输出完全一致。

单卡微调大模型前的显存预检工具，估算显存占用并给出可直接跑的 LoRA/QLoRA 配置，避免盲目开训就爆显存。

免调优的 KV Cache 2bit 非对称量化方案，能大幅压缩大模型推理时的显存占用，让长上下文推理在有限显存下跑起来。

基于 vLLM 的 NUMA 扩展推理引擎，充分利用 CPU 和内存资源降低显存占用，支持 MOE 大模型混合推理与 GPU/NUMA 并行。

用 PPO 强化学习和 LoRA 低秩适配微调 LLaMA 模型，做 RLHF 对齐训练，显存占用低，适合在单卡上跑通大模型偏好优化流程。

面向 XLA 设备（先支持 TPU，后续扩展 GPU）的大模型推理引擎，主打高吞吐和低显存占用，适合在 JAX 生态里跑 Llama、Gemma 等模型。

基于截断 SVD 的大模型压缩方法，通过奇异值分解降低 LLM 参数量与显存占用，同时尽量保住生成质量，已中稿 ICLR 2025。

基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案，用于降低大模型推理时的显存占用。

面向视觉语言模型的 INT4 量化部署方案，通过量化感知蒸馏把大模型压缩到 4bit，在保持多模态能力的同时大幅降低显存占用。

一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿，附全书正文、PDF 和配套计算工具，适合想搞懂 AI Infra 底层账怎么算的工程师。

系统梳理大模型推理中 KV Cache 优化的综述仓库，按系统与架构视角归纳显存占用和吞吐瓶颈的各类优化方法，适合做推理加速选型时查阅。