Scalable Diffusion Models
with Transformers

放大原图 ↗

1. 引言

在 Transformer 的推动下，机器学习正经历一场复兴。过去五年里，自然语言处理 [8，42]、视觉 [10] 以及多个其他领域的神经网络架构，已在很大程度上被 Transformer 统一 [60]。不过，许多 image-level generative model 仍未跟上这一趋势：Transformer 虽已广泛用于 autoregressive model [3，6，43，47]，在其他生成建模框架中的采用却少得多。例如，扩散模型处于近年图像生成进展的前沿 [9，46]，但它们仍无一例外地把卷积 U-Net 当作事实上的 backbone。

放大原图 ↗

Ho 等人的奠基工作 [19] 首次为扩散模型引入 U-Net backbone。U-Net 此前已在 pixel-level autoregressive model 与 conditional GAN [23] 中取得成功；扩散模型从 PixelCNN++ [52，58] 继承了这一结构，并做了少量修改。该模型是卷积式的，主要由 ResNet block [15] 组成。与标准 U-Net [49] 不同，它在较低分辨率处穿插额外的 spatial self-attention block，而 self-attention 正是 Transformer 的关键组件。Dhariwal 与 Nichol [9] 消融了 U-Net 的多项架构选择，例如用 adaptive normalization layer [40] 注入条件信息，以及卷积层的 channel 数。不过，Ho 等人提出的 U-Net 顶层设计此后基本保持不变。

本工作旨在澄清扩散模型中架构选择的意义，并为后续生成建模研究提供经验基线。我们表明，U-Net 的 inductive bias 并不是扩散模型性能的关键，它可以直接被 Transformer 等标准设计替换。因此，扩散模型很适合受益于近期的架构统一趋势：既能继承其他领域的最佳实践与训练配方，也能保留可扩展性、鲁棒性和效率等良好性质。标准化架构还会为跨领域研究打开新的可能。

本文聚焦一类基于 Transformer 的新型扩散模型，我们称之为 Diffusion Transformer，简称 DiT。DiT 遵循 Vision Transformer（ViT）[10] 的最佳实践；已有研究表明，在视觉识别任务中，ViT 比 ResNet [15] 等传统卷积网络更能有效扩展。

更具体地说，我们研究 Transformer 在“网络复杂度与样本质量”关系上的 scaling behavior。我们在 Latent Diffusion Model（LDM）[48] 框架下构造并 benchmark DiT design space；该框架在 VAE latent space 中训练扩散模型。结果说明，U-Net backbone 可以成功替换为 Transformer。我们进一步证明 DiT 是可扩展的扩散模型架构：以 Gflops 衡量的网络复杂度，与以 FID 衡量的样本质量之间存在强相关。仅通过扩大 DiT 并用 118.6 Gflops 的高容量 backbone 训练 LDM，我们便在 class-conditional $256\times256$ ImageNet 生成 benchmark 上取得 state-of-the-art 的 2.27 FID。

2. 相关工作

Transformer。 Transformer [60] 已在语言、视觉 [10]、强化学习 [5，25] 与 meta-learning [39] 中替代领域专用架构。随着模型规模、训练计算量和数据增大，Transformer 在语言领域 [26]、通用 autoregressive model [17] 以及 ViT [63] 中都展现出显著的 scaling property。语言之外，Transformer 也被训练来 autoregressively 预测像素 [6，7，38]；在 discrete codebook [59] 上，它既可作为 autoregressive model [11，47]，也可作为 masked generative model [4，14]，前者已扩展到 20B 参数并表现良好 [62]。此外，Transformer 还被用于 DDPM 合成非空间数据，例如在 DALL·E 2 中生成 CLIP image embedding [41，46]。本文研究的是：当 Transformer 充当图像扩散模型 backbone 时，它具有什么 scaling property。

放大原图 ↗

Denoising diffusion probabilistic model（DDPM）。 Diffusion [19，54] 与 score-based generative model [22，56] 在图像生成上尤其成功 [35，46，48，50]，很多情况下超过此前 state-of-the-art 的 GAN [12]。过去两年 DDPM 的进步主要来自采样技术改进 [19，27，55]，其中尤其包括 classifier-free guidance [21]、把扩散模型重参数化为预测噪声而非像素 [19]，以及使用 cascaded DDPM pipeline：并行训练低分辨率 base diffusion model 与 upsampler [9，20]。上述扩散模型都把卷积 U-Net [49] 当作事实上的 backbone。同期工作 [24] 为 DDPM 引入了基于 attention 的新型高效架构；我们则研究纯 Transformer。

架构复杂度。 图像生成文献常用参数量评价架构复杂度。但参数量通常不能很好地代理图像模型的复杂度，因为它没有计入图像分辨率等会显著影响性能的因素 [44，45]。因此，本文主要从理论 Gflops 的角度分析模型复杂度，这与架构设计文献中广泛用 Gflops 衡量复杂度的做法一致。实践中，最佳复杂度指标仍有争议，因为它往往取决于具体应用场景。与本文最相关的是 Nichol 与 Dhariwal 改进扩散模型的奠基工作 [9，36]：他们分析了 U-Net 架构族的可扩展性与 Gflop 性质；本文则聚焦 Transformer 架构族。

3. Diffusion Transformer

3.1 预备知识

扩散形式。 在介绍架构之前，先简要回顾理解扩散模型（DDPM）[19，54] 所需的基本概念。Gaussian diffusion model 假设存在一个 forward noising process，逐步向真实数据 $x_0$ 加噪：$q(x_t\mid x_0)=\mathcal{N}(x_t;\sqrt{\bar{\alpha}_t}x_0,(1-\bar{\alpha}_t)\mathbf{I})$，其中常数 $\bar{\alpha}_t$ 是超参数。利用 reparameterization trick，可以采样 $x_t=\sqrt{\bar{\alpha}_t}x_0+\sqrt{1-\bar{\alpha}_t}\epsilon_t$，其中 $\epsilon_t\sim\mathcal{N}(0,\mathbf{I})$。

扩散模型通过学习 reverse process 来逆转 forward process 的破坏：$p_\theta(x_{t-1}\mid x_t)=\mathcal{N}(\mu_\theta(x_t),\Sigma_\theta(x_t))$，其中用神经网络预测 $p_\theta$ 的统计量。reverse process model 以 $x_0$ 的 log-likelihood 的 variational lower bound [30] 训练；忽略一个与训练无关的附加项，它可化为 $\mathcal{L}(\theta)=-p(x_0\mid x_1)+\sum_t\mathcal{D}_{KL}(q^*(x_{t-1}\mid x_t,x_0)\Vert p_\theta(x_{t-1}\mid x_t))$。由于 $q^*$ 与 $p_\theta$ 都是 Gaussian，$\mathcal{D}_{KL}$ 可由两分布的均值和协方差求出。把 $\mu_\theta$ 重参数化为噪声预测网络 $\epsilon_\theta$ 后，可以用预测噪声 $\epsilon_\theta(x_t)$ 与真实采样噪声 $\epsilon_t$ 的简单均方误差训练：$\mathcal{L}_{\mathrm{simple}}(\theta)=\lVert\epsilon_\theta(x_t)-\epsilon_t\rVert_2^2$。不过，要学习 reverse process covariance $\Sigma_\theta$，仍需优化完整的 $\mathcal{D}_{KL}$ 项。我们沿用 Nichol 与 Dhariwal [36] 的方法：以 $\mathcal{L}_{\mathrm{simple}}$ 训练 $\epsilon_\theta$，以完整的 $\mathcal{L}$ 训练 $\Sigma_\theta$。训练好 $p_\theta$ 后，先初始化 $x_{t_{\max}}\sim\mathcal{N}(0,\mathbf{I})$，再通过 reparameterization trick 从 $p_\theta(x_{t-1}\mid x_t)$ 逐步采样新图像。

Classifier-free guidance。 Conditional diffusion model 会接收额外信息，例如类别标签 $c$；reverse process 相应变为 $p_\theta(x_{t-1}\mid x_t,c)$，其中 $\epsilon_\theta$ 与 $\Sigma_\theta$ 都以 $c$ 为条件。Classifier-free guidance 让采样过程倾向寻找具有较高 $\log p(c\mid x)$ 的 $x$ [21]。由 Bayes rule，$\log p(c\mid x)\propto\log p(x\mid c)-\log p(x)$，因此 $\nabla_x\log p(c\mid x)\propto\nabla_x\log p(x\mid c)-\nabla_x\log p(x)$。把扩散模型输出解释为 score function 后，可以使用 $\hat{\epsilon}_\theta(x_t,c)=\epsilon_\theta(x_t,\emptyset)+s\cdot(\epsilon_\theta(x_t,c)-\epsilon_\theta(x_t,\emptyset))$ 引导 DDPM 采样，其中 $s>1$ 是 guidance scale，而 $s=1$ 恢复标准采样。训练时随机丢弃 $c$，并用可学习的“null” embedding $\emptyset$ 替换，从而得到 $c=\emptyset$ 的无条件预测。Classifier-free guidance 通常比普通采样显著提升样本质量 [21，35，46]，DiT 也遵循这一趋势。

Latent diffusion model。 直接在高分辨率 pixel space 训练扩散模型，计算成本可能高得难以承受。Latent diffusion model（LDM）[48] 采用两阶段方案：（1）学习 autoencoder，用 encoder $E$ 把图像压缩为空间尺寸更小的表示；（2）冻结 $E$，训练表示 $z=E(x)$ 的扩散模型，而不是图像 $x$ 的扩散模型。生成时先从扩散模型采样 $z$，再用 decoder 得到 $x=D(z)$。

如 Figure 2 所示，LDM 只用 ADM 等 pixel-space diffusion model 的一小部分 Gflops 就能取得良好性能，因此很适合作为计算效率导向的架构探索起点。本文把 DiT 用在 latent space；当然，不改架构也可用于 pixel space。我们的图像生成 pipeline 因而是混合式的：使用现成的卷积 VAE 与基于 Transformer 的 DDPM。

3.2 Diffusion Transformer design space

我们提出 Diffusion Transformer（DiT），一种新的扩散模型架构。为保留标准 Transformer 的 scaling property，我们尽量忠实于其原始设计。由于研究对象是空间图像表示上的 DDPM，DiT 以处理 patch sequence 的 Vision Transformer（ViT）[10] 为基础，并保留 ViT 的多项最佳实践。Figure 3 展示完整架构；下面介绍 DiT forward pass 以及 DiT 架构族 design space 的各组成部分。

放大原图 ↗

Patchify。 DiT 的输入是空间表示 $z$；对于 $256\times256\times3$ 图像，$z$ 的形状为 $32\times32\times4$。第一层执行 patchify：对每个输入 patch 做线性 embedding，把空间输入转换成 $T$ 个维度为 $d$ 的 token；随后向所有 token 加入标准 ViT 的 sine-cosine positional embedding。Token 数 $T$ 由 patch size 超参数 $p$ 决定。如 Figure 4 所示，$p$ 减半会使 $T$ 变为四倍，因此 Transformer 总 Gflops 至少变为四倍；但改变 $p$ 基本不影响下游参数量。

我们把 $p=2,4,8$ 纳入 DiT design space。

DiT block 设计。 Patchify 之后，输入 token 由一系列 Transformer block 处理。除加噪图像外，扩散模型有时还处理 noise timestep $t$、类别标签 $c$、自然语言等条件信息。我们探索四种以不同方式处理条件输入的 Transformer block；它们对标准 ViT block 的修改虽小，却很重要，完整结构见 Figure 3。

放大原图 ↗

我们把 in-context、cross-attention、adaptive layer norm 与 adaLN-Zero 四种 block 纳入 DiT design space。

模型规模。 我们串联 $N$ 个 DiT block，每个都在 hidden dimension $d$ 上运行。沿用 ViT，我们使用同时扩展 $N$、$d$ 与 attention head 数的标准 Transformer 配置 [10，63]：DiT-S、DiT-B、DiT-L 与 DiT-XL。它们覆盖从 0.3 到 118.6 Gflops 的广泛模型规模和 flop 分配，便于衡量 scaling performance；配置明细见 Table 1。

我们把 S、B、L、XL 四档加入 DiT design space。

Transformer decoder。 最后一个 DiT block 之后，需要把 image token sequence 解码为输出噪声预测与对角协方差预测；两者形状都与原始空间输入一致。我们使用标准 linear decoder：先应用最终 LayerNorm（若使用 adaLN，则为 adaptive LayerNorm），再把每个 token 线性解码成 $p\times p\times 2C$ tensor，其中 $C$ 是 DiT 空间输入的 channel 数；最后，把解码后的 token 重排回原空间布局，得到预测噪声与协方差。

完整 DiT design space 包含 patch size、Transformer block 架构与模型规模。

4. 实验设置

我们探索 DiT design space，并研究这一模型族的 scaling property。模型名称由配置和 latent patch size $p$ 组成；例如 DiT-XL/2 表示 XLarge 配置且 $p=2$。

训练。 我们在竞争激烈的生成建模 benchmark ImageNet [31] 上，训练 $256\times256$ 与 $512\times512$ 分辨率的 class-conditional latent DiT。最终 linear layer 初始化为零，其余部分采用标准 ViT weight initialization；所有模型都使用 AdamW [29，33]。

放大原图 ↗

学习率恒为 $1\times10^{-4}$，不使用 weight decay，batch size 为 256；唯一的数据增强是 horizontal flip。不同于许多 ViT 工作 [57，61]，DiT 不需要 learning-rate warmup 或 regularization 就能达到高性能。即便不用这些技术，所有配置的训练都很稳定，也没有观察到 Transformer 训练中常见的 loss spike。遵循生成建模惯例，我们以 0.9999 的 decay 对 DiT 权重维护 exponential moving average（EMA），所有报告结果都使用 EMA 模型。所有规模和 patch size 共用完全相同的超参数，且训练设置几乎全部沿用 ADM。我们没有调 learning rate、decay/warm-up schedule、Adam $\beta_1/\beta_2$ 或 weight decay。

扩散。 我们使用 Stable Diffusion [48] 的现成预训练 VAE [30]。VAE encoder 的 downsample factor 为 8：形状 $256\times256\times3$ 的 RGB 图像 $x$ 经 $z=E(x)$ 后，形状变为 $32\times32\times4$。本节所有扩散模型都在这个 $\mathcal{Z}$-space 上运行；采样新 latent 后，再用 $x=D(z)$ 解码回像素。扩散超参数沿用 ADM [9]：$t_{\max}=1000$，linear variance schedule 从 $1\times10^{-4}$ 到 $2\times10^{-2}$，协方差 $\Sigma_\theta$ 的参数化，以及 timestep 与 label embedding 方法也均沿用 ADM。

评估指标。 我们用 Fréchet Inception Distance（FID）[18] 衡量 scaling performance，这是图像生成的标准指标。

与先前工作比较时，遵循惯例报告用 250 个 DDPM sampling step 得到的 FID-50K。FID 对实现细节十分敏感 [37]；为保证比较准确，本文所有数值都先导出样本，再用 ADM 的 TensorFlow evaluation suite [9] 计算。除非特别说明，本节 FID 不使用 classifier-free guidance。另报告 Inception Score [51]、sFID [34] 与 Precision/Recall [32] 作为次要指标。

计算。 所有模型均以 JAX [1] 实现，并在 TPU-v3 pod 上训练。计算量最大的 DiT-XL/2 在 TPU v3-256 pod、global batch size 256 下的训练速度约为每秒 5.7 iteration。

5. 实验

DiT block 设计。 我们训练四个高 Gflop 的 DiT-XL/2，分别使用 in-context（119.4 Gflops）、cross-attention（137.6 Gflops）、adaptive layer norm（adaLN，118.6 Gflops）或 adaLN-Zero（118.6 Gflops），并在训练过程中测量 FID。Figure 5 表明，adaLN-Zero 的 FID 低于 cross-attention 与 in-context，同时计算效率最高。训练 400K iteration 时，adaLN-Zero 的 FID 几乎只有 in-context 的一半，说明 conditioning mechanism 对模型质量至关重要。初始化同样重要：把每个 DiT block 初始化为 identity function 的 adaLN-Zero，显著优于普通 adaLN。本文余下所有模型都使用 adaLN-Zero DiT block。

放大原图 ↗

放大原图 ↗

放大原图 ↗

扩展模型规模与 patch size。 我们训练 12 个 DiT，遍历 S、B、L、XL 四档配置以及 8、4、2 三种 patch size。DiT-L 与 DiT-XL 的相对 Gflops 比其他相邻档更接近。Figure 2 左图概括了每个模型的 Gflops 与训练 400K iteration 后的 FID；所有情况下，增大模型、减小 patch size 都显著改善扩散模型。

Figure 6 上排固定 patch size：加深、加宽 Transformer 在所有训练阶段都降低 FID；下排固定模型规模：仅减少 patch size、增加 DiT 处理的 token 数，同样持续降低 FID，而参数量近似不变。

DiT Gflops 是性能提升的关键。 Figure 6 说明参数量不能唯一决定 DiT 质量。固定模型规模并减小 patch size 时，Transformer 总参数几乎不变（实际略微减少），只有 Gflops 增加，性能却提升。这表明真正关键的是扩展模型 Gflops。Figure 8 把训练 400K step 的 FID-50K 与 Gflops 对照：不同配置只要总 Gflops 相近，就得到相似 FID，例如 DiT-S/2 与 DiT-B/4。模型 Gflops 与 FID-50K 呈强负相关，说明更多模型计算是改进 DiT 的关键因素。附录 Figure 12 表明，这一趋势在 Inception Score 等其他指标上也成立。

更大的 DiT 模型具有更高计算效率。 Figure 9 以总训练计算量为横轴绘制所有 DiT 的 FID。训练计算量估为 $\mathrm{Gflops}\times\mathrm{batch\ size}\times\mathrm{training\ steps}\times3$；系数 3 近似认为 backward pass 的计算量是 forward pass 的两倍。小 DiT 即便训练更久，最终也会比训练 step 更少的大模型更低效。即使两模型仅 patch size 不同，在控制训练 Gflops 后，性能曲线仍不同；例如约在 $10^{10}$ Gflops 后，XL/2 开始超过 XL/4。

可视化 scaling。 Figure 7 直观展示 scaling 对样本质量的影响。训练 400K step 后，我们从 12 个 DiT 分别采样，且使用完全相同的起始噪声 $x_{t_{\max}}$、sampling noise 与类别标签。因此可以直接观察 scaling 的影响：扩大模型规模以及增加 token 数，都明显提升视觉质量。

5.1 State-of-the-art 扩散模型

$256\times256$ ImageNet。 完成 scaling analysis 后，我们把最高 Gflop 的 DiT-XL/2 继续训练至 7M step，并与 state-of-the-art class-conditional generative model 比较，结果见 Table 2。使用 classifier-free guidance 后，DiT-XL/2 超过此前所有扩散模型，把 LDM 的最佳 FID-50K 从 3.60 降至 2.27。Figure 2 右图还表明，118.6 Gflops 的 DiT-XL/2 相较 latent-space U-Net LDM-4（103.6 Gflops）具有竞争力，且远比 pixel-space U-Net ADM（1120 Gflops）与 ADM-U（742 Gflops）高效。

我们的方法取得此前所有生成模型中最低的 FID，包括先前 state-of-the-art 的 StyleGAN-XL [53]。此外，所有测试过的 classifier-free guidance scale 上，DiT-XL/2 的 recall 都高于 LDM-4 与 LDM-8。即便只训练 2.35M step（与 ADM 相近），XL/2 仍以 2.55 FID 超过此前所有扩散模型。

$512\times512$ ImageNet。 我们用与 $256\times256$ 模型相同的超参数，在 ImageNet $512\times512$ 上训练新的 DiT-XL/2 3M iteration。Patch size 为 2 时，把 $64\times64\times4$ 输入 latent patchify 后会得到 1024 个 token，计算量 524.6 Gflops。Table 3 表明 XL/2 再次超过该分辨率下所有先前扩散模型，把 ADM 的最佳 FID 3.85 降至 3.04。即使 token 数增加，XL/2 仍计算高效：ADM 使用 1983 Gflops，ADM-U 使用 2813 Gflops，而 XL/2 只用 524.6 Gflops。高分辨率样本见 Figure 1 与附录。

放大原图 ↗

5.2 扩展 model compute 与 sampling compute

扩散模型的独特之处在于：训练结束后，仍可通过增加生成时的 sampling step 使用更多计算。鉴于 model Gflops 对样本质量影响很大，我们检验小 model compute 的 DiT 能否靠更多 sampling compute 超过大模型。12 个模型都在训练 400K step 后，以每张图像 16、32、64、128、256、1000 个 sampling step 计算 FID，主结果见 Figure 10。比较使用 1000 step 的 DiT-L/2 与使用 128 step 的 DiT-XL/2：L/2 每张图像耗 80.7 Tflops；XL/2 的计算量少 5 倍，仅 15.2 Tflops，但 FID-10K 反而更好（23.7 vs. 25.9）。总体而言，增加 sampling compute 不能弥补 model compute 不足。

6. 结论

我们提出 Diffusion Transformer（DiT）：一种简单的 Transformer-based diffusion backbone。它超过先前 U-Net 模型，并继承 Transformer 架构族优异的 scaling property。基于本文有希望的 scaling 结果，后续工作应继续把 DiT 扩展到更大模型和更多 token；DiT 也可作为 DALL·E 2、Stable Diffusion 等 text-to-image model 的 drop-in backbone。

致谢。 感谢 Kaiming He、Ronghang Hu、Alexander Berg、Shoubhik Debnath、Tim Brooks、Ilija Radosavovic 与 Tete Xiao 的有益讨论。William Peebles 得到 NSF GRFP 资助。

放大原图 ↗

附录 A：更多实现细节

Table 4 汇总所有 DiT 模型的详细信息，包括 $256\times256$ 与 $512\times512$ 两种分辨率。Figure 13 报告 DiT training loss curve；Table 6 列出 ADM 与 LDM 的 DDPM U-Net Gflop 数。

DiT 模型细节。 输入 timestep 先使用 256 维 frequency embedding [9]，再经过一个 two-layer MLP；MLP 维度等于 Transformer hidden size，activation 为 SiLU。每个 adaLN layer 把 timestep embedding 与类别 embedding 之和送入 SiLU 和 linear layer；linear layer 的输出神经元数，对于 adaLN 是 hidden size 的 $4\times$，对于 adaLN-Zero 是 $6\times$。核心 Transformer 使用 GELU nonlinearity，并以 tanh 近似 [16]。

仅在部分 channel 上做 classifier-free guidance。 实验中 guidance 只施加到 latent 的前三个 channel，而不是全部四个。进一步调查发现，只要调整 scale factor，three-channel 与 four-channel guidance 的 FID 相近：three-channel 的 scale $1+x$，大致可由 four-channel 的 $1+\frac{3}{4}x$ 近似。例如 three-channel scale 1.5 的 FID-50K 为 2.27；four-channel scale 1.375 的 FID-50K 为 2.20。只对部分元素施加 guidance 仍能得到良好性能，这一点颇有意思，留待未来研究。

附录 B：模型样本

这里展示两个 DiT-XL/2 的样本：$512\times512$ 模型训练 3M step，$256\times256$ 模型训练 7M step。Figures 1 与 11 是两个模型的精选样本；Figures 14–33 则给出不同 classifier-free guidance scale 与类别标签下的未筛选样本，均使用 250 个 DDPM sampling step 与 ft-EMA VAE decoder 生成。与其他 guidance 工作一致，更大的 scale 会提高视觉保真度，同时降低样本多样性。

附录 C：更多 scaling 结果

Scaling 对 FID 之外指标的影响。 Figure 12 展示 DiT scale 对 FID、sFID、Inception Score、Precision 与 Recall 的影响。主文以 FID 为中心的分析可以推广到其他指标：在每项指标上，更大的 DiT 都更具计算效率，model Gflops 与性能高度相关。特别是 Inception Score 与 Precision，会显著受益于更大模型规模。

Scaling 对 training loss 的影响。 Figure 13 检查 scale 对 training loss 的影响。通过扩大 Transformer 或增加输入 token 数来提高 DiT Gflops，会使 training loss 下降得更快，并在更低值处饱和。这与 language model 中的趋势一致：扩大 Transformer 同时改善 loss curve 与 downstream evaluation [26]。

附录 D：VAE decoder 消融

所有实验使用现成的预训练 VAE。ft-MSE 与 ft-EMA 都是在原始 LDM “f8” 模型上 fine-tune 得到的版本，且只 fine-tune decoder 权重。Section 5 的 scaling analysis 用 ft-MSE decoder 监控指标；Tables 2、3 的最终指标使用 ft-EMA decoder。这里消融三种 decoder：LDM 原始版本，以及 Stable Diffusion 使用的两个 fine-tuned decoder。由于各模型的 encoder 完全相同，decoder 可以直接替换而无需重新训练 diffusion model。Table 5 表明，即使使用 LDM decoder，XL/2 仍超过此前所有扩散模型。

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗

放大原图 ↗