基于下一尺度预测的自回归视觉生成模型，用GPT式架构做图像生成并击败扩散模型，代码简洁易用，附带缩放定律研究。

基于 Megatron 和 DeepSpeed 在 GPU 上训练大规模自回归 Transformer 的模型并行框架，用来复现和扩展 GPT-3 级别的语言模型。

单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎，支持100多种语言，并按请求自动路由到合适的检查点。

把时间序列当成语言来建模的预训练预测模型，基于 Transformer 架构，可直接用于零样本或微调预测，省去从零训练的成本。

Infinity 是一个用位级自回归建模做高分辨率图像生成的模型，把 GPT 式架构扩展到视觉生成，解决高分辨率文生图的质量和扩展性问题。

用掩码生成式 Transformer 做高分辨率文生图的官方实现，把非自回归架构重新拉回实用水平，兼顾生成效率与画质。