npq-vit

zhaoyue-zephyrusMIT活跃维护

面向视觉 tokenizer 的球面量化方案，包含二值球面量化和 Leech 球面量化两种方法，用于压缩视觉 token 并提升表示效率。

[ICLR 2025] Binary Spherical Quantization + [CVPR 2026] Leech Spherical Quantization

暂无版本225star7fork同步于 2026-11-11 05:59 UTC

球面量化视觉分词器向量量化模型压缩二值量化

对比 GitHub 官网 compression quantization vector-quantization visual-tokenizer

怎么上手

由 README 提炼，执行前请确认

原文

mamba env create -f bsqvit-env.yaml
mamba activate bsqvit

硬件要求按 README 说明

README 未说明

下载：源码 zip·GitHub Releases（安装包）本站不镜像安装包

项目说明

由 README 自动翻译提炼

没人工点评？写下你的经验

用二值球面量化和 Leech 球面量化做图像视频 tokenizer 的研究代码库

面向视觉 tokenizer 的球面量化方案，包含二值球面量化和 Leech 球面量化两种方法，用于压缩视觉 token 并提升表示效率。

核心能力

用二值球面量化（BSQ）做图像与视频 tokenization
提出 Λ24 球面 Leech 量化（L24SQ）用于视觉 token 化与生成
提供 IN-1K 图像重建、UCF-101 视频重建的预训练权重
支持 18/36 bit 等不同码率的重建配置
附图像合成与视频压缩的评测结果

容易踩的坑

需先安装 Miniforge3 才能用 mamba 创建环境；预训练权重需从 Google Drive 手动下载；部分视频与合成任务的 config/ckpt 仍标注为 TBA 未放出

内容由模型根据 README 生成，可能不完整或不准确，以官方文档为准。看原文 README

用户点评

登录用户的真实使用记录，可按版本和硬件筛选

共 0 条

还没有人点评。第一个说出真实体验的人最有价值。

README 原文

未翻译

在 GitHub 打开

Non-Parametric Quantization

I wrote a blog about the motivation behind this series of work.

Λ24-SQ-ViT

Spherical Leech Quantization for Visual Tokenization and Generation
Yue Zhao1,2, Hanwen Jiang1,3, Zhenlin Xu4, Chutong Yang1, Ehsan Adeli2, Philipp Krähenbühl1
1UT Austin, 2Stanford University, 3Adobe Research, 4Mistral AI
arxiv | bibtex | Image Generation with Infinity+L24SQ

🍰 BSQ-ViT

You can pronouce BSQ-ViT like "biskvit" (a kind of Russian sponge cake) or simply "biscuit".

Image and Video Tokenization with Binary Spherical Quantization
Yue Zhao1, Yuanjun Xiong2, Philipp Krähenbühl1
1UT Austin, 2Predera
arxiv | bibtex

Installation

Install Miniforge3
Create the environment

mamba env create -f bsqvit-env.yaml
mamba activate bsqvit

Main Results

Image Reconstruction (IN-1K val 256x256)

	Use approx. (Eq 8)	#bits	PSNR↑	SSIM↑	LPIPS↓	rFID↓	config & ckpt	md5sum
SDXL-VAE	N/A	64	25.38	.7276	.0666	0.72	External	N/A
BSQ-ViT		18	24.79	.7319	.0836	1.34	Gdrive	7abf5a
BSQ-ViT (EMA)		18	24.80	.7314	.0820	1.23	Gdrive	7abf5a
BSQ-ViT	✓	18	25.36	.7578	.0761	1.14	Gdrive	8f5422
BSQ-ViT (EMA)	✓	18	25.80	.7680	.0729	1.30	Gdrive	8f5422
BSQ-ViT	✓	36	27.88	.8410	.0432	0.41	Gdrive	b5ce5f
BSQ-ViT (EMA)	✓	36	28.14	.8448	.0400	0.45	Gdrive	b5ce5f
L24SQ-ViT (EMA)	N/A	~17.6					Gdrive	73ab9e

Video Reconstruction (UCF-101 16x128x128)

	#bits	PSNR↑	SSIM↑	LPIPS↓	rFVD↓	config & ckpt
MAGVIT-L	10	22.0	.7010	.0990	25	N/A
MAGVITv2	18	-	-	.0694	16.12	N/A
MAGVITv2 (deeper)	18	-	-	.0537	8.62	N/A
BSQ-bcViT	18	32.08	.9421	.0244	8.08	TBA
BSQ-bcViT	36	33.80	.9606	.0159	4.10	TBA

Image Synthesis (IN-1K 128x128)

	FID↓	IS↑	Prec↑	Rec↑	pre-computed samples	config & ckpt
BigGAN	6.02	145.8	0.86	0.35	External	External
ADM	5.91	93.3	0.70	0.65	External	External
Ours BSQ-ViT + Masked-LM	5.44	139.6	0.80	0.50	UTBox	TBA

Video Compression (MCL-JCV 360P)

License

MIT License.

Citing NPQ-ViT

@article{zhao2024lsqvit,
  title={Spherical Leech Quantization for Visual Tokenization and Generation},
  author={Zhao, Yue and Jiang, Hanwen and Xu, Zhenlin and Yang, Chutong and Adeli, Ehsan and Kr{\"a}henb{\"u}hl, Philipp},
  journal={arXiv preprint arXiv:2512.14697},
  year={2025}
}

@article{zhao2024bsqvit,
  title={Image and Video Tokenization with Binary Spherical Quantization},
  author={Zhao, Yue and Xiong, Yuanjun, and Kr{\"a}henb{\"u}hl, Philipp},
  journal={arXiv preprint arXiv:2406.07548},
  year={2024}
}