在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

用低秩分支吸收离群值的 4-bit 扩散模型量化方案，让 FLUX 等大模型在低显存下也能高速出图，并已集成 ComfyUI。

面向已训练神经网络模型的量化与压缩库，提供剪枝、量化等高级技术，帮助在部署前压缩模型体积、降低推理开销。

Intel 开源的模型量化工具，用训练后量化的低成本达到量化感知训练级别的精度，支持 int4、GGUF、MXFP4 等格式，可直接对接 vLLM、SGLang 推理。

HQQ 是一种无需校准数据的大模型量化方法，官方实现支持几行代码把 LLM 压到低比特，省显存还能保持精度。

面向大模型量化的压缩工具包，支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速，可无缝接入 HF、vLLM 和 SGLang 推理。

一种简单又强大的大模型量化技术，通过可学习权重裁剪和等价变换，在保持精度的同时把 LLM 压到低比特，方便部署推理。

PyTorch 官方的量化与稀疏化工具库，支持训练和推理阶段的低精度计算，覆盖 float8、MX 等数据类型，可加速 Transformer 和 Llama 等大模型。

面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。

收集大量预训练模型，并已转成 TensorFlow、PyTorch、ONNX、OpenVINO、TFLite、CoreML 等格式，省去自己跨框架转换的麻烦。

GPTQ 是 ICLR 2023 论文的官方实现，能在训练后把 GPT 类大模型量化到 3/4 比特，几乎不掉精度，大幅降低显存占用和推理成本。

一套面向应用 AI 的实战教程，用 Jupyter Notebook 讲透大模型微调、推理与量化，帮工程师把 LLM 真正跑起来。

在 256MB 内存的十美元级开发板上跑 10 亿参数大模型，靠量化与 C 实现把 LLM 推理压进嵌入式设备。

用 Rust 写的多后端 OCR/视觉语言模型引擎，支持 DeepSeek-OCR、PaddleOCR-VL 等模型和 DSQ 量化，无需 Python 即可本地跑起兼容 OpenAI 的服务和命令行。

基于 TensorFlow Keras 的量化深度学习库，支持量化感知训练，方便把模型部署到 FPGA、ASIC 等硬件加速器上。

把大语言模型和适配时空视频表示的视觉编码器结合，让模型能围绕视频内容展开有意义的对话，并提供视频对话模型的量化评测基准。

Hailo 官方预训练模型库，提供面向 Hailo-8 边缘 AI 加速器的模型、量化工具和完整评估环境，方便直接部署到端侧设备。

SINQ 是一种即插即用的 LLM 量化方法，能把任意大模型压小并尽量保住精度，适合显存吃紧时部署 DeepSeek、Qwen 等模型。

safetensors 的扩展，能把稀疏量化后的张量高效存到磁盘，省空间又不牺牲加载速度，适合大模型量化权重的持久化。

一站式大模型压缩工具箱，支持 LLM、VLM 和视频生成模型的量化与剪枝，覆盖 AWQ、SmoothQuant 等算法，并提供压缩后的评测与部署流程。

系统讲解大模型推理与部署的理论与实践，涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术，适合想上手 LLM 部署的开发者学习。

Rust 原生本地推理后端，支持 GGUF 模型和量化，在 Apple Silicon 与 Windows 上跑 LLM，并提供 OpenAI 兼容接口。

在本地设备上跑大语言模型的推理引擎，靠 X-Bit 量化把模型压小，让 Llama、Gemma 这类模型在资源有限的机器上也能流畅生成。

整理模型量化领域的论文、基准、综述和工具，覆盖低比特网络、大模型、多模态生成模型以及向量与格量化，方便做高效推理部署时查资料。

整理大模型高效化研究的资源清单，汇总量化、剪枝、知识蒸馏等压缩与加速方向的论文和工具，方便快速找到降低推理成本的方法。

面向零基础读者的模型压缩教程，系统讲解剪枝、量化、知识蒸馏、低秩分解和神经架构搜索等让大模型变小变快的方法。

一份边缘机器学习资源清单，汇总了研究论文、推理引擎、竞赛、书籍和线下活动，方便快速找到在嵌入式与移动端部署模型的相关资料。

整理扩散模型高效化方向的论文与代码合集，覆盖图像、视频、世界模型和语言生成，聚焦加速、量化、压缩、缓存与蒸馏。