让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。
在 CH32V003 这类低端 32 位单片机上跑低比特权重量化神经网络，把 TinyML 推理压进几毛钱的芯片里。
RaBitQ 官方向量量化与近似最近邻检索库，提供 C++ 和 Python 接口，用 SIMD 加速高维向量的相似度搜索。
RaBitQ 是 SIGMOD 2024 提出的高维向量量化方法，为近似最近邻搜索提供理论误差上界，适合构建向量检索系统时做有精度保证的压缩索引。
本地部署的 AI 量化投资研究平台，集成回测、机器学习选股与自动交易，帮个人开发者搭建从策略研究到实盘的完整量化流程。
开源高频加密货币交易机器人框架，支持在多个交易所创建、回测和部署做市与套利策略，适合量化交易者快速搭建自动化交易系统。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引，面向 RAG 和嵌入检索场景，提供高压缩比、低内存的近似最近邻搜索。
无需训练即可修改语言模型行为，通过消融技术去除审查、抑制废话、减少谄媚，让模型输出更直接可控。
开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
面向稠密向量的高效相似度检索与聚类库，支持十亿级向量近邻搜索，是构建向量数据库和 RAG 检索层的底层引擎。
OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。
用 Jupyter Notebook 带你动手理解视频技术：从图像、帧类型到 AV1/VP9/H265 编解码与 FFmpeg 编码实践，适合入门视频压缩与流媒体。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
用 LoRA、Adapter 等少量参数微调大模型和扩散模型，大幅降低显存与训练成本，是 Hugging Face 生态里做参数高效微调的标准库。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。
一站式大模型微调工具，支持 LoRA、QLoRA、全参等多种训练方式，用配置文件就能跑起各种开源模型的微调任务。
把 Nunchaku 的 4-bit 量化扩散模型推理接进 ComfyUI，让 FLUX 等模型在低显存下也能快速出图。
用低秩分支吸收离群值的 4-bit 扩散模型量化方案，让 FLUX 等大模型在低显存下也能高速出图，并已集成 ComfyUI。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具，支持 INT8/FP8/INT4 等低比特量化和稀疏化，帮大模型在低精度下保持精度并降低显存与推理成本。
…oAWQ implements the AWQ algorithm for 4-bit quantization with a 2x speedup during inference. Documentation:
把对话语言模型压到 2-bit 量化，小到能在 8 位 Z80 处理器上跑，用 Python 训练后导出成 CP/M 的 .COM 程序，让老电脑也能聊天。
把彩色位图转成彩色 SVG 矢量图，底层用 potrace 做矢量化，适合需要放大不失真的图标、插画等素材。
一种简单又强大的大模型量化技术，通过可学习权重裁剪和等价变换，在保持精度的同时把 LLM 压到低比特，方便部署推理。
配套《Fine-Tuning LLMs with PyTorch and Hugging Face》一书的实战代码库，用 LoRA、PEFT、bitsandbytes 量化等手把手教你在消费级显卡上微调大模型。
免调优的 KV Cache 2bit 非对称量化方案，能大幅压缩大模型推理时的显存占用，让长上下文推理在有限显存下跑起来。
在 NVIDIA GPU 上为 StartLux-Decision 模型提供快速精确推理，支持 int8 和 4-bit 量化的 GGUF 权重，延迟比 vLLM FP8 低至 5.3 倍且答案逐位一致。
在 RTX 5090 / RTX PRO 6000（sm_120）上跑 DeepSeek-V4.1-Flash 等前沿 MoE 大模型的 vLLM 适配方案，支持 GPU+CPU 混合推理和 2-bit 专家量化。
在本地设备上跑大语言模型的推理引擎，靠 X-Bit 量化把模型压小，让 Llama、Gemma 这类模型在资源有限的机器上也能流畅生成。
开源语音识别模型 Phonon-2 和 Phonon-1，提供命令行工具以及 CPU、CUDA 镜像，支持低比特量化和 MLX 加速，方便本地部署语音转文字。
基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案，用于降低大模型推理时的显存占用。
整理模型量化领域的论文、基准、综述和工具，覆盖低比特网络、大模型、多模态生成模型以及向量与格量化，方便做高效推理部署时查资料。
一套系统的大语言模型入门课程，用学习路线图和可直接运行的 Colab 笔记本，带你从零掌握 LLM 的原理与实战。