Autoregressive Image Generation
without Vector Quantization

自回归模型目前是事实上的自然语言处理中生成模型的解决方案[38, 39, 3]。 这些模型根据之前的单词作为输入来预测序列中的下一个单词或标记。鉴于语言的离散性质，这些模型的输入和输出处于类别, 离散值空间。这种主流方法导致了一种广泛的认识，即自回归模型与离散表示固有地联系在一起。

因此，将自回归模型推广到连续值域——最显著的是图像生成——一直强烈关注于将数据离散化[6, 13, 40]。一种常用的策略是在图像上训练一个离散值的分词器，这涉及通过向量量化（VQ）[51, 41]获得的有限词汇表。然后，自回归模型在离散值的词元空间上运行，类似于其语言对应模型。

在这项工作中，我们旨在解决以下问题：自回归模型是否必须与向量量化表示耦合？我们注意到，自回归的本质，即……，“基于之前的词元预测下一个词元”，与值是离散的还是连续的无关。所需要的是对每个词元的概率分布进行建模，这可以通过损失函数来衡量，并用于从中采样。离散值的表示可以方便地通过类别分布来建模，但概念上并非必需。如果提出了针对每个词元概率分布的替代模型，自回归模型可以在没有向量量化的情况下实现。

基于这一观察，我们提出通过作用于连续值域的扩散过程来建模每个词元的概率分布。我们的方法利用了扩散模型的原理[45, 24, 33, 10]来表示任意的概率分布。具体来说，我们的方法自回归地预测每个词元的一个向量$z$，该向量作为去噪网络（例如，一个小型MLP）的条件。去噪扩散过程使我们能够表示一个潜在的分布$p(x|z)$用于输出的$x$（图1）。这个小的去噪网络 与自回归模型联合训练，以连续值 标记作为输入和目标。从概念上讲，这个小的预测 头，应用于每个标记，其行为类似于衡量$z$质量的损失函数。我们将此 损失函数称为扩散损失.

我们的方法消除了对离散值分词器的需求。向量量化分词器难以训练，并且对梯度近似策略敏感[51, 41, 40, 27]。它们的重建质量通常不如连续值对应物[42]。我们的方法使自回归模型能够受益于更高质量、非量化的分词器。

为了拓宽范围，我们进一步将标准自回归（AR）模型[13]和掩码生成模型[4, 29]统一到一个广义自回归框架中（图3）。从概念上讲， 掩码生成模型预测多个输出标记 同时以随机顺序进行，同时仍然保持 “基于已知标记预测下一个标记”的自回归性质。这导致了一种掩码自回归（MAR）模型，可与扩散损失无缝结合使用。

我们通过实验证明了扩散损失在包括AR和MAR模型在内的各种情况下的有效性。它消除了对向量量化分词器的需求，并持续提高生成质量。我们的损失函数可以灵活地应用于不同类型的分词器。此外，我们的方法享有序列模型快速速度的优势。我们的带有扩散损失的MAR模型可以以每秒生成$<$每张图像0.3秒，同时实现了$<$在ImageNet 256上强大的FID为2.0$\times$256. 我们最好的模型可以达到1.55 FID。

我们方法的有效性揭示了图像生成的一个很大程度上未被探索的领域：通过自回归建模相互依赖的标记，同时结合每个标记通过扩散进行分布。这与典型的潜在扩散模型形成对比，[42, 37]在典型的潜在扩散模型中，扩散过程对所有token的联合分布进行建模。鉴于我们方法的有效性、速度和灵活性，我们希望扩散损失能够推进自回归图像生成，并在未来的研究中推广到其他领域。

图像生成的序列模型。开创性的自回归图像模型工作[17, 50, 49, 36, 7, 6]对像素序列进行操作。 自回归可以通过RNN[50]、CNN[49, 7]以及最近最流行的Transformer[36, 6]来执行。受语言模型的启发，另一系列工作[51, 41, 13, 40]将图像建模为离散值标记。自回归[13, 40]和掩码生成模型[4, 29]可以在离散值标记空间上操作。但离散分词器难以训练，这最近引起了特别关注[27, 54, 32].

与我们的工作相关，最近关于GIVT[48]的工作也关注序列模型中的连续值标记。GIVT和我们的工作都揭示了这一方向的重要性和潜力。在GIVT中，标记分布由高斯混合模型表示。它使用预定义的混合数量，这可能限制其能表示的分布类型。相比之下，我们的方法利用扩散过程在建模任意分布方面的有效性。

用于表示学习的扩散. 去噪扩散过程已被探索作为视觉自监督学习的标准。例如，DiffMAE[53]将原始MAE中的L2损失[21]替换为去噪扩散解码器；DARL[30]使用去噪扩散补丁解码器训练自回归模型。这些努力集中在表示学习上，而非图像生成。在他们的场景中，生成多样化的图像不是目标；这些方法尚未展示从零开始生成新图像的能力。

用于策略学习的扩散. 我们的工作与机器人学中的扩散策略[8]在概念上相关。在这些场景中，采取行动的分布被表述为对机器人观测（可以是像素或潜在变量）的去噪过程[8, 34]。在图像生成中，我们可以将生成一个令牌视为采取一个“动作”。尽管存在这种概念上的联系，但在机器人技术中，生成样本的多样性不如图像生成那样是核心考虑因素。

简而言之，我们的图像生成方法是一个在令牌化潜在空间上操作的序列模型[6, 13, 40]。但与以往基于向量量化令牌化器（例如，VQ-VAE的变体[51, 13]）的方法不同，我们旨在使用连续值令牌化器（例如.., [42]）。我们提出了扩散损失，使序列模型与连续值令牌兼容。

首先，我们重新审视离散值标记在自回归生成模型中的作用。记$x$为下一个位置要预测的真实标记。使用离散分词器时，$x$可以表示为一个整数：$0 \leq x < K$，词汇表大小为$K$。自回归模型 产生一个连续值的$D$-维 向量$z \in \mathbb{R}^D$，然后通过一个$K$-路 分类器矩阵$W \in \mathbb{R}^{K{\times}D}$进行投影。概念上，这种表述建模了一个类别概率分布以$p(x | z) = \text{softmax}({W}{z})$.

在生成建模的背景下，该概率分布必须表现出两个基本属性。(i) 一个损失函数，用于衡量估计分布与真实分布之间的差异。对于类别分布，这可以通过交叉熵损失简单地实现。(ii) 一个采样器能够在推理时从分布中抽取样本$x \sim p(x | z)$。 对于分类分布，这通常实现为从$p(x | z) = \text{softmax}(Wz / \tau)$中抽取样本，其中$\tau$是控制样本多样性的温度。从分类分布中采样可以通过 Gumbel-max 方法[18]或逆变换采样。

这一分析表明，离散值标记并非自回归模型所必需的。相反，对分布进行建模的需求才是本质。离散值标记空间意味着分类分布，其损失函数和采样器易于定义。我们真正需要的是用于分布建模的损失函数及其对应的采样器。

去噪扩散模型[24]为建模任意分布提供了有效框架。但与通常使用扩散模型来表示所有像素或所有标记的联合分布不同，在我们的案例中，扩散模型用于表示每个标记的分布.

考虑一个连续值向量$x \in \mathbb{R}^d$，它表示下一个位置要预测的真实标记。自回归模型产生一个向量$z \in \mathbb{R}^D$在此 位置。我们的目标是建模一个概率分布，该分布为$x$，以$z$为条件，即$p(x|z)$。损失函数和采样器可以 按照扩散模型[24, 33, 10]来定义， 接下来将进行描述。

损失函数。遵循[24, 33, 10]， 一个潜在概率分布$p(x|z)$的损失函数可以表述为去噪 准则：这里，$\varepsilon\in \mathbb{R}^d$是从$\mathcal{N}( \mathbf{0}, \mathbf{I})$中采样的噪声向量。 被噪声破坏的向量$x_t$是$x_t = \sqrt{\bar{\alpha}_t} x + \sqrt{1-\bar{\alpha}_t} \varepsilon$，其中$\bar{\alpha}_t$定义了噪声调度[24, 33]. $t$是噪声调度的时间步。噪声估计器$\varepsilon_\theta$，由$\theta$参数化，是一个小型MLP网络（见 第4节）。符号$\varepsilon_\theta(x_t | t, z)$表示 该网络接受$x_t$作为 输入，并且是条件同时依赖于$t$和$z$。根据[46, 47]，公式（1）在概念上类似于 一种分数匹配：它与关于$p(x|z)$的分数函数 的损失函数相关，即$\nabla \log_{x} p(x|z)$。 Diffusion Loss 是一种参数化的损失函数，与 adversarial loss[15] 或 perceptual loss[56] 属于同一类思路。

值得注意的是，条件向量 $z$ 由 autoregressive network 产生，即 $z=f(\cdot)$，下文会进一步说明。$z=f(\cdot)$ 的梯度来自式（1）的损失函数；从概念上说，式（1）定义了训练网络 $f(\cdot)$ 的损失。

我们注意到，式（1）中的期望 $\mathbb{E}_{\varepsilon,t}[\cdot]$ 对任意给定的 $z$ 都关于 $t$ 取期望。由于去噪网络很小，对同一个 $z$ 可以多次采样 $t$，从而无须重新计算 $z$ 就能提高损失函数的利用率。训练时，我们对每张图像采样 4 次 $t$。

采样器。在推理时，需要从分布$p(x|z)$中抽取样本。采样通过反向扩散过程[24]: $x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}}\varepsilon_\theta(x_t | t, z) \right) + \sigma_t \delta.$完成。这里$\delta$是从高斯分布$\mathcal{N}( \mathbf{0}, \mathbf{I})$中采样得到的，而$\sigma_t$是时间步$t$处的噪声水平。从$x_{T} \sim \mathcal{N}( \mathbf{0}, \mathbf{I})$开始，该过程生成一个样本$x_{0}$使得$x_{0} \sim p(x|z)$ [24].

当使用分类分布时（第3.1）， 自回归模型可以享受拥有温度 $\tau$来控制样本多样性的好处。事实上，现有文献，无论是在语言还是图像领域，都表明温度在自回归生成中起着关键作用。扩散采样器需要提供一个温度对应物。我们采用了[10]中提出的温度采样。概念上，使用温度$\tau$，人们可能希望从$p(x|z)^{\frac{1}{\tau}}$的（重新归一化的）概率中采样，其得分函数为${\frac{1}{\tau}}\nabla \log_{x} p(x|z)$。在实践中，[10]建议要么将$\varepsilon_\theta$由$\tau$，或将噪声缩放${\tau}$。我们采用后一种方案：我们在采样器中 将$\sigma_t\delta$缩放$\tau$。直观上，$\tau$通过 调整噪声方差来控制样本多样性。

接下来，我们描述带有扩散损失的自回归模型用于 图像生成。给定一个令牌序列$\{x^1, x^2, ..., x^n\}$，其中上标$1 \leq i \leq n$指定顺序，自回归模型[17, 50, 49, 36, 7, 6]将生成问题表述为“下一个词元预测”：使用一个网络来表示条件概率$p(x^i~ |~ x^1, ..., x^{i-1})$。在我们的情况下，$x^i$可以是连续值。我们可以将这个表述重写为两部分。首先，我们通过一个网络生成一个条件向量$z^i$（例如..， Transformer[52]) 对先前令牌进行操作：$z^i = f(x^1, ..., x^{i-1})$。然后，我们通过$p(x^i | z^i)$对下一个令牌的概率进行建模。公式（1）中的 Diffusion Loss 可用于$p(x^i | z^i)$. 梯度被 反向传播到$z^i$以更新 的参数$f(\cdot)$.

我们表明，掩码生成模型, 例如.., MaskGIT[4]和 MAGE[29]，可以在 自回归这一宽泛概念下进行概括，即..， 下一个词元预测。

双向注意力可以执行自回归。 自回归的概念与网络架构正交： 自回归可以通过RNN[50]、CNN[49, 7]以及 Transformer[38, 36, 6]来实现。 当使用Transformer时，尽管自回归模型通常通过因果注意力实现，我们表明它们也可以通过双向注意力。参见图2。请注意，自回归的目标是根据前面的词元预测下一个词元；它并不限制前面的词元如何与下一个词元通信。

我们可以采用掩码自编码器（MAE）中实现的双向注意力方法[21]。参见图2(b)。具体来说，我们首先应用一个MAE风格的编码器¹在已知标记上（带有位置嵌入[52]）。 然后我们将编码序列与掩码标记（再次添加位置嵌入）连接起来，并用MAE风格的解码器映射此序列。掩码标记上的位置嵌入可以让解码器知道要预测哪些位置。与因果注意力不同，这里的损失仅计算在未知标记上[21].

利用MAE风格的技巧，我们允许所有已知标记相互查看，也允许所有未知标记查看所有已知标记。这种全注意力比因果注意力在标记间引入了更好的通信。在推理时，我们可以使用这种双向公式生成标记（每步一个或多个），这是一种自回归形式。作为折衷，我们不能使用因果注意力的键值（kv）缓存[44]来加速推理。但因为我们能一起生成多个标记，我们可以减少生成步骤以加速推理。标记间的全注意力可以显著提高质量，并提供更好的速度/精度权衡。

随机顺序的自回归模型。为了连接到掩码生成模型[4, 29]，我们考虑一种 自回归变体，采用随机顺序。模型接收一个随机 排列的序列。每个样本的随机排列都不同。 参见图3(b)。在这种情况下，模型需要能够访问 下一个要预测的标记的位置。我们采用 类似于MAE[21]的策略：我们在解码器层添加位置嵌入（对应 未打乱的位置），这可以告知要预测的位置。 该策略适用于因果和双向版本。

如图3(b)(c)所示，随机顺序自回归 表现为掩码生成的一种特殊形式，其中每次生成一个 标记。我们详细说明如下。

掩蔽自回归模型。在掩蔽生成建模[4, 29]中，模型基于已知/预测的标记预测随机子集的标记。这可以表述为通过随机顺序排列标记序列，然后基于之前的标记预测多个标记。参见图3（c）。从概念上讲，这是一个自回归过程，可以写成估计条件分布：$p( \{x^i, x^{i+1}...,x^j\} ~ |~ x^1, ..., x^{i-1}),$其中多个标记$\{x^i, x^{i+1}...,x^j\}$需要被预测（$i \leq j$）。我们可以将这种自回归模型写为：这里，$X^k = \{x^i, x^{i+1}...,x^j\}$是一组标记，在第$k$步需要被预测，其中$\cup_k{X^k}=\{x^1, ..., x^{n}\}$。从这个意义上说，这本质上就是“下一组标记预测”，因此也是自回归的一种一般形式。我们将这种变体称为掩码自回归（MAR）模型。MAR是一种随机顺序的自回归模型，可以同时预测多个标记。

MAR在概念上与MAGE相关[29]。然而，MAR通过对$\tau$每个词元的概率分布应用温度来采样词元（这是生成式语言模型如GPT的标准做法）。相比之下，MAGE（遵循MaskGIT[4]）对要预测的位置的采样应用温度：这不是完全随机的顺序，这造成了训练时与推理时行为之间的差距。

本节描述我们的实现。我们注意到，本文引入的概念是通用的，并不限于特定实现。更详细的细节见附录B.

扩散过程. 我们的扩散过程遵循[33]. 我们的噪声 调度采用余弦形状，训练时使用1000步；在 推理时，以更少的步数重新采样（默认100步）[33]. 我们的去噪 网络预测噪声向量$\varepsilon$ [24]. 损失可以可选地包含 变分下界项$\mathcal{L}_\text{vlb}$ [33]. 扩散损失 自然支持无分类器引导（CFG）[23]（详见附录B).

去噪MLP. 我们使用一个由 几个残差块组成的小型MLP[20]用于去噪。每个块依次 应用层归一化（LN）[1]、一个线性层、SiLU[12]，以及 另一个线性层，并与残差连接合并。默认情况下，我们 使用3个块，宽度为1024个通道。去噪MLP 以向量$z$为条件，该向量由 AR/MAR模型生成（见图1）。 向量$z$被添加到噪声调度时间步长$t$的时间嵌入中，该时间步长通过AdaLN作为LN层中MLP的条件。[37].

分词器。我们使用LDM提供的公开可用的分词器[42]. 我们的实验将涉及它们的 VQ-16 和 KL-16 版本[42]. VQ-16 是一种 VQ-GAN[13], 即..， VQ-VAE[51]带有 GAN 损失[15]和感知损失[56]；KL-16 是其通过 Kullback–Leibler（KL）散度正则化的对应版本，没有向量量化。16 表示分词器的步长。

Transformer. 我们的架构遵循 Transformer[52]在ViT[11]中的实现。给定来自分词器的令牌序列，我们添加位置嵌入[52]并附加类别令牌[cls]；然后通过Transformer处理该序列。默认情况下，我们的Transformer有32个块，宽度为1024，我们称之为大型或-L（$\scriptstyle\sim$400M参数）。

自回归基线。因果注意力 按照GPT[38]的常见实践实现（图2(a)）。 输入序列移动一个令牌（此处为 [cls]）。 三角掩码[52]应用于注意力矩阵。 在推理时，应用温度（$\tau$）采样。我们使用 kv-cache[44]以进行 高效推理。

掩码自回归模型。使用双向 注意力（图2(b)），我们可以根据任意数量的已知标记预测任意数量的 未知标记。在训练时，我们 随机采样掩码比例[21, 4, 29]在 [0.7, 1.0] 范围内：例如，0.7 表示 70% 的标记是未知的。因为 采样序列可能非常短，我们总是填充 64[cls]编码器序列开头的标记，这提高了我们编码的稳定性和容量。如图2，在解码器中引入了掩码标记[m]，并添加了位置嵌入。为简单起见，与[21]不同，我们让编码器和解码器具有相同的大小：每个都有所有块的一半（例如，MAR-L中为16）。

在推理时，MAR执行“下一组标记预测”。它使用余弦调度[4, 29]将掩码比率从1.0逐渐降低到0。默认情况下，我们在此调度中使用64步。应用温度（$\tau$）采样。与[4, 29]不同，MAR始终使用完全随机的顺序。

我们在ImageNet上进行实验[9]分辨率为256$\times$256。我们评估FID[22]和IS[43]，并按照常见做法提供精确率和召回率作为参考[10]。我们遵循 由[10].

扩散损失对比..交叉熵损失. 我们 首先将连续值令牌与扩散损失进行比较，并将标准 离散值令牌与交叉熵损失进行比较（表1）。为了公平比较， 分词器（“VQ-16”和“KL-16”）均从LDM 代码库下载[42]。 这些是常用的分词器（例如.., [13, 42, 37]).

比较在AR/MAR的四种变体中进行。如表1，扩散损失 在所有情况下都持续优于交叉熵对应方法。 具体来说，在MAR（例如..，默认设置）中，使用扩散损失 可以将FID相对降低$\scriptstyle\sim$50%-60%。这是因为 连续值的KL-16比VQ-16具有更小的压缩损失 （在表2中接下来讨论）， 而且因为扩散过程比分类过程更有效地建模分布。

在以下消融实验中，除非另有说明，我们遵循表 1 中的“默认” MAR 设置。

扩散损失的灵活性。扩散损失的一个显著 优势是其对各种分词器的灵活性。 我们在表2.

即使使用 VQ tokenizer，Diffusion Loss 也很容易应用。我们只需把 VQ 层之前的连续值 latent 视为 token。这一变体在不使用 CFG 时取得 7.82 FID；相较于使用同一 VQ tokenizer、采用 cross-entropy loss 时的 8.79 FID（表 1），该结果更好。这表明 diffusion 在建模分布方面具有更强能力。

这一变体还让我们能在相同损失下比较 VQ-16 与 KL-16 tokenizer。如表 2 所示，VQ-16 的 reconstruction FID（rFID）远差于 KL-16，因而 generation FID 也明显更差（例如表 2 中的 7.82 对 3.50）。

有趣的是，Diffusion Loss 还使我们能使用 stride 不匹配的 tokenizer。在表 2 中，我们研究一个 stride 为 8、输出序列长度为 $32\times32$ 的 KL-8 tokenizer。在不增加生成器序列长度的情况下，我们将 $2\times2$ 个 token 分组为一个新 token。尽管存在不匹配，仍能取得不错的结果，例如 KL-8 的 FID 为 2.05，而 KL-16 为 1.98。此外，这一性质使我们能够研究其他 tokenizer，例如 Consistency Decoder [35]；它是一种面向不同目标、具有不同架构和 stride 的非 VQ tokenizer。

为了全面性，我们还在ImageNet上使用代码训练了一个KL-16分词器。[42]，注意到原始的KL-16在[42]在OpenImages上进行了训练[28]. 比较结果位于表2。我们在以下探索中使用这个分词器。

扩散损失中的去噪MLP。我们研究了表3中的去噪MLP。即使是一个非常小的MLP（例如..， 2M）可以获得有竞争力的结果。如预期的那样，增加MLP 宽度有助于提高生成质量；我们探索了增加 深度，并观察到类似的结果。请注意，我们默认的MLP大小 （1024宽度，21M）仅增加了$\scriptstyle\sim$5%的额外参数到 MAR-L模型。在推理过程中，扩散采样器的成本适中， 占$\scriptstyle\sim$10%的总 运行时间。在我们的实现中，增加MLP宽度带来的额外成本可以忽略不计（表3），部分原因是主要开销 不是计算而是内存通信。

扩散损失的采样步数。我们的扩散 过程遵循DDPM的常见做法[24, 10]：我们使用 1000步噪声调度进行训练，但在推理时使用更少的步数。图4显示，在推理时使用 100个扩散步数足以实现强大的 生成质量。

扩散损失的温度。在 交叉熵损失的情况下，温度至关重要。扩散 损失也提供了温度对应物，用于控制多样性 和保真度。图5显示了温度 的影响$\tau$在扩散采样器中（参见 第3.2节）在推理时。温度$\tau$在我们的模型中起着重要作用，类似于对基于交叉熵的对应模型的观察（注意表1是在其最佳 温度下进行的）。

从AR到MAR. 表1也是对AR/MAR变体的比较，我们接下来讨论。首先，将AR中的光栅顺序替换为随机顺序有显著增益，例如..，将FID从19.23降至13.07（无CFG）。接下来， 将因果注意力替换为双向对应部分带来了另一个巨大的提升，例如..，将FID 从13.07降至3.43（无CFG）。

随机顺序、双向自回归本质上是一种MAR形式， 一次预测一个token。一次预测多个token （'$>$1'）可以有效减少自回归步骤的数量。在表1中，我们展示了 具有64步的MAR变体略微牺牲了生成质量。更全面的 权衡比较将在接下来讨论。

速度/精度权衡. 继MaskGIT[4]之后，我们的MAR享有一次预测多个标记的灵活性。这由推理时的自回归步数控制。图6绘制了速度/精度权衡。MAR比其AR对应方法具有更好的权衡，注意到AR使用了高效的kv缓存。

使用扩散损失，MAR在与最近流行的扩散Transformer（DiT）比较时也显示出有利的权衡。[37]. 作为潜在扩散模型，DiT通过扩散过程建模所有token之间的相互依赖关系。DiT的速度/精度权衡主要由其扩散步数控制。与我们在小型MLP上的扩散过程不同，DiT的扩散过程涉及整个Transformer架构。我们的方法更精确且更快。值得注意的是，我们的方法可以以$<$每张图像0.3秒，FID值优秀$<$ 2.0.

我们在表4中与领先系统进行了比较。我们探索了各种模型大小（见附录B），并训练了800个周期。类似于自回归语言模型[3]，我们观察到了令人鼓舞的扩展行为。进一步研究扩展可能很有前景。关于指标，我们报告了2.35的FID无CFG，大大优于其他基于令牌的方法。我们的最佳条目FID为1.55，与领先系统相比具有竞争力。图7展示了定性结果。

扩散损失在各种自回归模型上的有效性 暗示了新的机遇：通过自回归建模token间的相互依赖，同时通过扩散建模每个token的分布。这与通常使用扩散 建模所有token的联合分布不同。我们在 图像生成上的强劲结果表明，自回归模型或其扩展 是超越语言建模的强大工具。这些模型不需要 受限于向量量化表示。我们希望我们的工作 能激励研究社区在其他领域探索具有 连续值表示的序列模型。

致谢。Tianhong Li在 该项目期间获得了Mathworks奖学金的支持。我们感谢Congyue Deng和 Xinlei Chen的有益讨论。我们感谢Google TPU研究云 （TRC）为我们提供TPU访问权限，以及Google云平台 支持GPU资源。

局限性。除了展示我们的方法在图像生成方面的潜力外，本文也承认其局限性。

首先，我们的图像生成系统可能会产生带有明显伪影的图像（图8）。这一局限性在现有方法中普遍存在，尤其是在受控的学术数据（例如，ImageNet）上训练时。与在大量数据上训练的商业模型相比，在ImageNet上训练的研究驱动模型在视觉质量上仍有明显差距。

其次，我们的图像生成系统依赖于现有的预训练分词器。我们系统的质量可能受到这些分词器质量的限制。预训练更好的分词器超出了本文的范围。尽管如此，我们希望我们的工作能使未来开发的连续值分词器更容易使用。

最后，我们注意到，由于计算资源有限，我们主要在ImageNet基准上测试了我们的方法。需要进一步验证以评估我们的方法在更多样化和现实场景中的可扩展性和稳健性。

更广泛的影响。我们的主要目标是推进生成模型的基础研究，我们相信这将对该领域有益。我们方法的一个直接应用是将其扩展到大型视觉生成模型，例如..， 文本到图像或文本到视频生成。我们的方法有 潜力显著降低这些大型模型的训练和推理成本。 同时，我们的方法可能表明 在许多应用中用扩散损失替代传统损失函数的机会。 在负面方面，我们的方法从训练数据集中学习统计信息， 因此可能反映数据中的偏差； 图像生成系统可能被滥用以生成虚假信息， 这值得进一步考虑。

无分类器引导（CFG）。为了支持CFG[23]，在训练 时，类别条件被替换为虚拟类别标记，占 10$\%$的样本[23]。在推理 时，模型使用给定的类别标记和虚拟标记运行， 提供两个输出$z_c$和$z_u$。预测的噪声$\varepsilon$随后被修改为[23]如：$\varepsilon= \varepsilon_\theta(x_t | t, z_u) + \omega\cdot(\varepsilon_\theta(x_t | t, z_c) - \varepsilon_\theta(x_t | t, z_u))$，其中$\omega$是 指导尺度。在推理时，我们遵循[5]使用CFG调度。我们为每个模型搜索 最优指导尺度和温度组合。

训练。默认情况下，模型使用 AdamW优化器[31]训练400个周期。AdamW的权重衰减 和动量分别为0.02和(0.9, 0.95)。我们使用批量大小为 2048，学习率（lr）为8e-4。我们的扩散损失模型 使用100个周期的线性学习率预热[16]进行训练，随后是常数 [37]学习率调度。 交叉熵对应模型使用余弦学习率调度进行训练， 这对它们效果更好。遵循[37, 25]，我们 以0.9999的动量维持模型参数的指数移动平均（EMA）。

表4的实现细节。为了 探索我们方法的扩展行为，我们研究了三种模型大小， 描述如下。除了MAR-L，我们还探索了一个较小的模型 （MAR-B）和一个较大的模型（MAR-H）。MAR-B、-L和-H分别有 24、32、40个Transformer块，宽度分别为768、1024和1280。在 表4中，具体来说，去噪MLP 分别有6、8、12个块，宽度分别为1024、1280和1536。 训练长度增加到800个epoch。在推理时，我们 运行256个自回归步骤以获得最佳结果。

扩散损失的伪代码。参见算法1.

计算资源。我们的训练主要在16台 服务器上进行，每台配备8个V100 GPU。训练一个400个epoch的MAR-L模型需要$\sim$在这些GPU上需要2.6天。作为比较，在这个集群上训练DiT-XL/2和LDM-4模型相同数量的epoch分别需要4.6天和9.5天。

MAR（无论使用何种损失）在概念上与MAGE相关[29]。除了实现差异（例如，架构细节、超参数）之外，MAR和MAGE之间的一个主要概念差异在于推理时的扫描顺序。在MAGE中，遵循MaskGIT[4]，下一个要预测的token的位置由每个位置的样本置信度动态确定，即..，每一步更有可能选择置信度更高的位置[4, 29]。相比之下，MAR采用完全随机的顺序，其温度采样应用于每个token。表5在受控设置下比较了这一差异。第一行是我们的MAR实现，但使用了MAGE的即时排序策略，其结果与更简单的随机顺序对应物相似。完全随机的排序可以使训练和推理过程在顺序分布上保持一致；它还允许我们采用类似于自回归语言模型（例如，GPT[38, 39, 3]).

我们的MAR+DiffLoss方法也可以直接应用于建模 RGB像素空间，无需图像分词器。为了证明 这一点，我们在ImageNet 64上进行了实验$\times$64，将每4$\times$4个像素分组为一个单独的令牌，供 扩散损失建模。一个训练了400 个周期的MAR-L+DiffLoss模型在FID上达到了2.93，展示了 在自回归图像生成中消除分词器的潜力。然而，正如扩散模型 文献中普遍观察到的，直接建模像素空间比使用分词器在计算上 昂贵得多。对于MAR+DiffLoss， 在更高分辨率下直接建模像素可能需要 自回归变压器更长的序列长度，或者扩散损失需要更大的网络来处理更大的 补丁。我们将这一探索留待未来工作。

遵循先前的工作，我们还报告了在ImageNet上分辨率为512$\times$512的结果， 与领先系统进行比较（表6）。为简单起见，我们使用KL-16分词器，其序列长度为32$\times$32，对应512$\times$512图像。其他设置遵循表4中描述的MAR-L配置。我们的方法在无CFG时FID为2.74，有CFG时为1.73。我们的结果与先前系统相比具有竞争力。由于资源有限，我们未在ImageNet 512$\times$512上训练更大的MAR-H，预计其会有更好的结果。

对于连续值标记，一个朴素的基线是直接计算预测与目标标记之间的均方误差（MSE，即，L2）损失。在光栅顺序的自回归模型中，使用L2损失不会引入随机性，因此无法生成多样化的样本。在带有L2损失的MAR模型中，唯一的随机性是序列顺序；对于任何给定的顺序，某个位置的预测是确定性的。在我们的实验中，我们训练了一个带有L2损失的MAR模型，正如预期的那样，这导致了灾难性的FID分数（$>$100).