DiTAR:
Diffusion Transformer
Autoregressive Modeling
for Speech Generation

近年来，autoregressive language model（LM）展现出很强的生成能力和 scaling 性质 [1, 55, 56, 60]，其中通常采用离散 tokenization。离散化对文本而言很自然，但对图像、视频和音频等其他模态却没那么直接。受码率限制，离散表示往往无法高保真重建复杂模态；相比之下，连续 token 更能保留原始信息 [15, 47]。为缓解这一问题，autoregressive 多媒体生成通常采用两阶段策略：先由 LM 生成有损离散 token，再用基于 token 的 diffusion 补充细节。然而，这种级联设计会累积误差，也限制 language model 的可扩展性。因此，对连续表示进行 autoregressive modeling 很有意义。

Diffusion model 已被证明能够有效建模连续表示 [2, 45, 47]，将它与 autoregressive model 结合也成为重要研究方向。[34] 首次提出在 language model 上附加 diffusion head 进行图像生成，开辟了一条新路线。然而，当骨干网络采用 causal-attention language model 时，其性能明显落后。

另一类方法如 ARDiT [38] 或 Transfusion [62]，把 language model 的参数复用于 diffusion，因此带来可观的计算开销。由此产生一个问题：能否在保证高质量生成的同时，以合理计算量 autoregressively 预测连续 token？

为解决这一问题，本文提出 Diffusion Transformer AutoRegressive（DiTAR）建模框架，把 transformer diffusion 与 language model 无缝结合。作者认为，language model 加 diffusion head 效果不佳的原因，在于 causal attention 强加的单向依赖与连续 token 特有的强帧间相关性相冲突。

DiTAR 采用分而治之策略，把连续 token 划分为多个 patch：language model 负责 patch 间预测，diffusion transformer 负责 patch 内预测。具体来说，系统使用在多个生成领域都表现领先的 bidirectional-attention diffusion transformer（DiT）[2, 37, 45] 预测局部 patch，并将其称为 LocDiT。作者还提出一种通用 guidance 方法，并向 LocDiT 引入历史上下文，以进一步增强生成能力。Patchification 之后，负责长上下文的 causal language model 接收到更短的序列，计算量也随之降低。

推理时，temperature sampling 用于平衡 exploration 与 exploitation，是离散值 language model 的关键机制，但它在连续值 LM 中尚未得到充分研究。本文把 temperature 定义为沿反向 ODE 轨迹引入噪声的时间点，并据此为连续值 AR model 提出 temperature sampling。不同于需要大量步数的 SDE-based 方法 [12, 34]，该方法适用于更快的 ODE solver，并能在多样性与确定性之间取得平衡。

DiTAR 以 language model 为基础，擅长 zero-shot 生成任务。作者将其用于 zero-shot text-to-speech（TTS），即根据未见说话人的 prompt 生成语音。不同于采用 coarse-to-fine 流水线的系统 [2, 7, 8, 13]，DiTAR 让 language model 直接预测最终特征，从而省去多阶段流程。它在稳健性、说话人相似度与自然度方面取得 SOTA 结果，同时计算需求远低于竞品模型。

概括而言，本文的主要贡献如下：

Autoregressive Language Model 与 Diffusion 的结合。 Language model 主要用于离散表示，而 diffusion 擅长建模连续分布；把二者结合用于多模态建模，是一个关键研究方向。一些工作 [5, 38, 58] 通过改变相邻 token 的去噪速率，让靠前 token 更早完成预测，从而使 diffusion 具备 autoregressive 能力。Transfusion [62] 让 diffusion 与 language model 共用同一个 transformer：离散 token 使用 causal attention，连续 token 使用 bidirectional attention，但它并不天然支持连续 token 的 autoregressive generation。这些方法把 language model 参数复用于 diffusion；随着序列变长、language model 变大，计算需求会显著增加。与本文最相关的是 Li 等人 [34] 提出的 next-token diffusion head，不过它用于 causal language model 时性能相对较差。

生成建模中的 Patchification。 Patchification 技术已广泛用于语音 [7, 43, 57]、图像 [35, 45] 和视频生成 [37]。

这些工作使用 patchification 的主要目的，是通过缩短序列降低计算量；而在本文中，patchification 除了减少计算，还让 autoregressive framework 能在 patch 内执行 bidirectional modeling，从而进一步提升建模效果。

Zero-Shot Text-to-Speech。 Zero-shot TTS 的目标，是根据未见说话人的 prompt 生成语音。现有工作可分为 multi-stage 和 single-stage 两类。Multi-stage 方法 [2, 7, 8, 22, 23, 31] 使用多种表示描述语音，主要区分为 coarse 与 fine 两级。Autoregressive language model 往往负责预测信息量较低、通常为离散值的 coarse 表示，例如语义 [2, 4, 10, 21, 26] 与韵律 [22, 23, 24]，再由另一个模型完成 coarse-to-fine 转换。

Single-stage 方法侧重生成可直接重建音频波形的高信息量连续表示，例如 Mel spectrogram 或 auto-encoder latent，主要采用基于 non-causal-attention transformer 的 diffusion [9, 14, 16, 29]。另一些工作 [33, 43, 50, 57] 直接用 AR 建模语音 Mel spectrogram，但通常需要在输入阶段使用 Dropout [53] 保证生成稳健性，因此 in-context learning 能力较弱，更适合训练集内说话人的 TTS。本文提出一种 single-stage autoregressive zero-shot TTS 方法，并在生成稳健性和声音相似度上取得 SOTA。

简言之，DiTAR 是一种基于连续表示的 patch-based autoregressive system，把 causal-attention AR 与 bidirectional-attention transformer diffusion 的优势结合起来。

DiTAR 通过 next-token prediction 构成 autoregressive model。考虑连续 token 序列 $\bm{x}=(\bm{x}_1,\bm{x}_2,\ldots,\bm{x}_N)$，可用概率链式法则分解其联合分布：

其中，$\theta$ 表示 AR generative model 的参数。相邻连续 token 之间高度相似，说明局部区域内存在 bidirectional dependency。基于这一观察，作者把局部 $\bm{x}_i$ 聚合为大小为 $P$ 的 patch，再用 bidirectional attention 建模每个 patch 内的 token。模型可分为 $\theta_a$ 和 $\theta_b$ 两部分：$\theta_a$ 是负责长上下文学习的 autoregressive model，建模 $p_{\theta_a}(\bm{h}_i\mid\bm{x}_1,\bm{x}_2,\ldots,\bm{x}_{i})$；$\theta_b$ 是执行 next-patch prediction 的 bidirectional-attention diffusion transformer，建模 $p_{\theta_b}(\bm{x}_{i+1},\ldots,\bm{x}_{i+P}\mid\bm{h}_i)$。这里 $\bm{h}_i$ 是 language model 的输出，也是 diffusion 的条件。

作者在 zero-shot text-to-speech 任务上验证 DiTAR。依照上述形式，他们像 [7] 一样把 zero-shot TTS 看作 AR model 的 conditional continuation：将 prompt 文本、目标文本和 prompt 语音拼接为 prefix context 输入模型，再由模型在给定上下文时 autoregressively 生成目标语音。

Li 等人 [34] 发现，causal-attention autoregressive model 与 diffusion loss 结合后的性能，显著弱于使用 full attention 的系统。为此，DiTAR 采用分而治之策略，将长连续 token 序列划分为多个 patch：language model 负责 patch 间预测，diffusion transformer 负责 patch 内预测。

如 Figure 1 所示，系统 backbone 是执行 next-token prediction 的 causal-attention transformer。每个连续 token patch 先经 aggregation encoder 压成一个向量，再输入 AR model 得到输出 embedding $\bm{h}_t$；$\bm{h}_t$ 随后作为 diffusion decoder LocDiT 的条件。训练时沿用 [34]，对输出连续 token 使用 diffusion loss。

Diffusion transformer [37, 45] 已在多个生成领域取得成功。这类方法利用 bidirectional transformer 的完整感受野生成整个样本。DiTAR 则使用名为 Local Diffusion Transformer（LocDiT）的 bidirectional transformer diffusion，生成局部连续 token patch。

LocDiT 根据 AR 输出生成下一个语音 patch，但作者发现，单凭这一条件，diffusion 很难预测 next patch。为发挥 diffusion transformer 的上下文学习能力，他们提出 context-aware diffusion：如 Figure 1 右半部分所示，把历史 token patch 作为 LocDiT 的 prefix input，使任务更接近 outpainting，从而显著改善生成表现。定量结果见 §4.3。

这一设计还隐含着 coarse-to-fine 过程。现有方法 [2, 7, 13] 通常显式区分 coarse 与 fine feature：language model 预测 coarse feature，另一个网络负责从 coarse 转到 fine；但 multi-stage 方法容易累积误差。DiTAR 则以无缝 end-to-end 方式工作：把每个 token patch 压缩到隐式 coarse feature space，再由 LocDiT 展开为高保真连续 token。

Classifier-free guidance（CFG）[19] 被广泛用于增强生成模型对条件的遵循程度。在 diffusion 中，conditional 与 unconditional model 共享参数，通过训练时随机省略条件进行联合训练。推理时，用参数 $w$ 合并两路输出，在多样性与保真度之间取舍；这等价于从分布 $\tilde{p}_\theta(\bm{z}_t,c)\propto p_\theta(\bm{z}_t\mid c)p_\theta(c\mid\bm{z}_t)^w$ 采样。其中 $\theta$ 是模型参数，$c$ 是条件，$\bm{z}_t$ 是时刻 $t$ 的含噪样本。对离散值 language model，CFG [49] 往往需要把 language model 计算两次，以得到 conditional 与 unconditional logits，计算代价较高。

DiTAR 同时包含 LM 与 diffusion head。作者为此提出 LM guidance：只需计算两次 diffusion head 和一次 LM。LM 的第 $i$ 个输出 $\bm{h}_i$ 本质上表示全部历史输入 $(\bm{x}_0,\bm{x}_1,\ldots,\bm{x}_i)$；训练时，他们沿序列随机把 $\bm{h}_i$ 替换为 dummy embedding $\pmb{h}_\varnothing$。推理时，通过下式从 $p_\theta(\bm{z}_{i,t}\mid\bm{x}_1,\ldots,\bm{x}_{i-1})p_\theta(\bm{x}_1,\ldots,\bm{x}_{i-1}\mid\bm{z}_{i,t})^w$ 采样：

其中，$\pmb{z}_{i,t}$ 表示 diffusion 在时刻 $t$ 的第 $i$ 个含噪序列样本，$\pmb{\epsilon}_{\theta}$ 是 LocDiT 估计的 score，$\pmb{h}_\varnothing$ 是代表 unconditional modeling 的 dummy vector。在 velocity space 中使用 conditional Flow Matching target 也与此等价。§4.3 将表明，该方法显著提升模型性能。

Temperature-based sampling 用于平衡 exploration 与 exploitation，是离散值 LM 的基础机制，但在连续值 LM 中研究较少。Li 等人 [34] 基于 DDPM reverse process [20] 提出一种采样方法；它属于一阶 SDE solver，并把 temperature 定义为每一步的噪声缩放因子。由于 Wiener process 具有随机性，SDE solver 需要很小的步长，因而必须使用更多步数才能收敛 [52]。这一 temperature 定义也难以直接扩展到当代应用中更常见、更快速的 ODE solver [40, 41, 51]。为解决这些问题，作者重新定义 temperature，并提出一种与 ODE solver 兼容的新采样方法。

作者把 temperature $\tau\in[0,1]$ 定义为求解 diffusion 反向 ODE 时引入噪声的时间点。具体考虑按 patch 定义的 Gaussian diffusion forward process：$\bm{x}_t=\alpha_t\bm{x}_0+\sigma_t\bm{\varepsilon}$，其中 $\bm{x}_0\sim q_{\mathrm{data}}(\bm{x}_0)$，$\bm{\varepsilon}\sim\mathcal{N}(\bm{0},\bm{I})$，$t\in[0,1]$，$\alpha_t$ 与 $\sigma_t$ 共同定义 flow path。

当 $\tau=1$ 时，采样等价于标准 ODE sampling：从 $1$ 到 $0$ 求解反向 ODE $d\bm{x}_t=\bm{v}_{\theta}(\bm{x}_t,t)dt$，初始 $\bm{x}_1\sim\mathcal{N}(\bm{0},\bm{I})$，$\bm{v}_{\theta}$ 是预测 vector field。当 $\tau=0$ 时，不引入随机噪声，过程完全确定。由于 $0$ 是 standard Gaussian 中 likelihood 最高的取值，作者把从 $\bm{x}_1\equiv\mathbf{0}$ 开始的采样定义为 greedy sampling，以保证确定性。

当 $0<\tau<1$ 时，在时刻 $\tau$ 用 forward process 对估计的 $\bm{x}_0$ 加噪，从而引入随机性。Equations (3)–(4) 概括了迭代过程；为便于说明，默认 ODE solver 采用 Euler method。

其中 $\bm{x}_\theta$ 表示估计的 $\bm{x}_0$，可通过线性变换从估计 velocity 或 score 推导得到，推导见 §A.3。§4.3 表明，$\tau$ 能有效平衡多样性与稳定性。完整采样过程见 Algorithm 1。

沿用 LDM [47]，作者使用 variational auto-encoder（VAE）[27] 把波形转换为 latent $z$ 的分布，并用均值与方差表示。VAE encoder 由多层 convolutional network 构成。

Decoder 架构与 adversarial training scheme 均沿用 BigVGAN [30]，discriminator 则采用 Kong 等人 [28] 提出的 multi-period discriminator（MPD）和 multi-scale discriminator（MSD）。在本文设置中，$24{,}000\,\mathrm{Hz}$ 波形被压缩为 $40\,\mathrm{Hz}$、$64$ 维的 latent。

DiTAR 包含 aggregation encoder、language model 和 decoder（LocDiT）三个模块，三者都基于 transformer。Encoder 与 decoder 使用 bidirectional attention mask，LM 使用 causal attention mask；所有 transformer 均采用 Pre-Norm [59]，并使用 RMSNorm [61] 与 RoPE [54]。

每个连续 token patch 连同一个置于序列开头、类似 [11] 的可学习 special token，一起输入 aggregation encoder；special token 位置的输出作为 aggregation embedding。不同 patch 的 aggregation embedding 组成序列，交给 LM 处理。在 LocDiT 中，LM 输出与 time embedding 相加，再与历史 context patch、含噪目标 token 组成一个新序列，作为 LocDiT 输入。计算 loss 时，只考虑含噪目标 token 位置的输出。训练期间，以 $0.1$ 概率把 LM 输出随机替换为全零向量，从而为 LocDiT 启用 LM guidance。

沿用 Lu 与 Song [39]、Song 等人 [52]，本文采用如下 variance-preserving diffusion process：

其中，$\bm{x}_0\sim q(\bm{x}_0)$ 表示数据，$\bm{\varepsilon}\sim\mathcal{N}(\bm{0},\bm{I})$ 表示 standard Gaussian noise，$t\in[0,1]$。训练采用 conditional Flow Matching loss [36]：

Velocity 定义为 $\bm{v}(\bm{x}_t,t)=\dot{\bm{x}}_t=\dot{\alpha}_t\bm{x}_t+\dot{\sigma}_t\bm{\varepsilon}$。推理时使用 DDIM sampler [51]；它本质上是相对于 signal-to-noise ratio $\alpha_t^2/\sigma_t^2$、而非相对于 $t$ 的 Euler ODE sampler，已有研究表明这更符合 diffusion ODE 的 semi-linear 性质 [40]。

文本序列先转换为 phoneme，再通过 lookup table 得到 text embedding；speech token 经 aggregation encoder 变成 speech embedding，并与 text embedding 拼接。所得 embedding sequence 作为 DiTAR LM 的输入，训练时不计算文本部分的 loss。沿用 Li 等人 [33] 和 Wang 等人 [57]，作者还在 LM 输出端加入带 fully connected layer 的 binary classifier，用于预测何时停止。Zero-shot TTS 的 loss 可写为 $L=L_{\mathrm{diff}}+L_{\mathrm{stop}}$。推理时，把 prompt 文本、目标文本和 prompt 音频作为 prefix input 送入 DiTAR LM，再 autoregressively 生成目标音频。

本节将 DiTAR 与领先系统进行 benchmark 对比，并展示其 SOTA 表现。

为了公平评测 zero-shot TTS，需要同时考虑 prompt audio、文本与评测工具。作者统一这些变量，以便更客观、公平地比较不同系统。

训练与评测数据集。训练使用两个开源数据集：1）LibriLight [25]，包含来自 LibriVox 有声书的 $60\mathrm{K}$ 小时英文语音；2）Emilia [18]，约含 $100\mathrm{k}$ 小时语音的多语言数据集。

评测使用三个开源数据集：1）LibriSpeech(PC) [42, 44] test-clean，包含 $40$ 位不同英语说话人、共 $5.4$ 小时语音。作者使用两个既有子集：NaturalSpeech3 的 subset A，含 $40$ 个三秒语音 prompt 与 $40$ 个目标样本；F5TTS 发布的 subset B，含 $40$ 个 prompt 与 $1{,}127$ 个样本。2）Seed-ZH：中文语音数据集 DiDiSpeech 2 [17] 的子集，含 $1{,}088$ 组 prompt 与 target。3）Seed-EN：带多样口音的 crowdsourcing 英语数据集 Common Voice [3] 子集，含 $2{,}020$ 组 prompt 与 target。

评测指标。作者评估四项客观指标：1）Word Error Rate（WER），用于衡量生成稳健性。为保持一致，不同测试集沿用既有工作的 ASR 设置：LibriSpeech test-clean subset A 使用 HuBERT-based model〔注 1〕，subset B 使用 Faster-Whisper-large-v3〔注 2〕[46]，Seed-EN 使用 Whisper-large-v3〔注 3〕，Seed-ZH 使用 Paraformer-zh。2）相对 prompt audio 的说话人相似度（SIM）：使用 WavLM-large [6] 计算生成语音与参考语音之间的 cosine distance。3）UTMOS [48]：自动预测的 mean opinion score（MOS），用于评估语音质量。4）Floating Point Operations（FLOPs）：衡量模型计算负担，计算过程见 §A.4。

主观评测使用四项 MOS 指标：1）N-MOS 衡量自然度；2）Q-MOS 衡量音质；3）S-MOS 衡量说话人声音相似度；4）CMOS 用于与真人音频做 side-by-side 比较。

模型设置与 Baseline。作者将 DiTAR 与多种架构的 zero-shot TTS 系统比较，包括工作在离散或连续值空间中的 multi-stage 与 single-stage 方案。对比使用 $0.6$B 参数、patch size 为 $4$ 的 DiTAR。

推理时，LocDiT 使用 $\mathrm{NFE}=10$。DiTAR 的具体参数设置见 Appendix A.2。

作者从多个维度比较 DiTAR 与 baseline。客观指标见 Table 1 的 LibriSpeech test-clean 结果；主观评测邀请 $10$ 位英语专家给生成音频打分。N-MOS、Q-MOS 和 S-MOS 采用 $1$–$5$ 分；CMOS 则让专家把生成音频与 ground truth（GT）比较，给出 $-2$ 到 $2$ 的分数。结果见 Table 2。

生成稳健性。如 Table 1 所示，在两种训练数据配置和测试集上，DiTAR 都取得最佳 WER，合成稳健性可与带 phone-level duration model 的 NAR 系统匹敌。Table 3 进一步与使用 proprietary data 训练的模型比较，显示 DiTAR 具有很强的合成稳定性。

说话人相似度。作者同时做客观与主观评估。客观上，Table 1 中 DiTAR 的 SIM 与 NAR 系统相当；主观上，Table 2 中 DiTAR 的 S-MOS 超过领先 NAR 系统，体现出良好的 in-context learning 能力。

自然度。作者使用 N-MOS 与 CMOS 两项主观指标评估语音自然度。

Table 2 表明，DiTAR 的自然度分数高于所比较的领先 NAR 系统。

音频质量。作者用客观指标 UTMOS 与主观指标 Q-MOS 评估音质。Table 1 中，DiTAR 在 LibriSpeech test-clean subset A 的 UTMOS 仅次于 NaturalSpeech3，在 subset B 则最高；Table 2 的主观结果中，DiTAR 的 Q-MOS 甚至高于 ground truth，显示其输出具有很高的感知质量。

计算负担。Table 1 表明，DiTAR 在保证高质量音频生成的同时，相比其他 NAR 系统把计算需求降低约 $3\sim43\times$。Hybrid system 的计算量更低，但输出质量往往也较差。推理效率详见 §4.4.2。

为评估 DiTAR 的性能上界，作者在 $280\mathrm{k}$ 小时数据上训练 $1$B 参数的 DiTAR，并与更广泛的模型比较，包括 Seed-TTS 等 closed-source 系统。测试使用 Seed-EN 与 Seed-ZH 两种语言的数据集。Table 3 显示，DiTAR 获得最佳生成稳健性和很高的说话人相似度；其他系统结果均来自各自论文。

本节以 Seed-EN 为测试集，从模型架构与训练数据两方面研究 DiTAR 在 zero-shot 语音生成上的 scaling 性质。

数据量或模型规模增加时，DiTAR 的性能都会持续提升。作者同时进行 data scaling 与 model scaling。固定 $0.6$B 模型，把训练数据从 $20\mathrm{k}$ 小时扩展到 $280\mathrm{k}$ 小时；固定 $280\mathrm{k}$ 小时数据，则把模型从 $0.1$B 扩展到 $1$B，并同步增大 encoder、language model 和 LocDiT。具体设置见 Table 8。Figure 2 显示，随着训练数据和模型参数增加，WER 与 SIM 持续改善。

Language model 与 diffusion decoder 从 scaling 中获益更多。作者以在 $280\mathrm{k}$ 小时数据上训练的 $0.4$B 模型为起点，分别扩大 encoder、language model 和 decoder（LocDiT）。由于 encoder 与 decoder 处理更短序列，他们经验性地把更多参数分配给 language model。Table 4 表明，扩大 language model 和 LocDiT 能提升性能，而增加 encoder 大小的影响很小。

本节详细分析 DiTAR 的各个组件。除非另有说明，默认使用 $0.6$B 参数、patch size 为 $4$、$\mathrm{NFE}=10$ 的 DiTAR，并在 Seed-EN 上测试。

默认测试集为 Seed-EN。

Patch Size。LocDiT 用 bidirectional attention 生成 next patch。作者保持总参数量不变，只改变 patch size。Figure 3 显示，patch 过大或过小时性能都会下降：过小会削弱 bidirectional attention 能力，使模型更依赖 causal-attention AR，从而退化；这或许能解释 Li 等人 [34] 观察到的 causal AR 配 diffusion loss 效果不佳。过大的 patch 则会让 LocDiT 成为瓶颈，需要投入更多参数。

LocDiT 的历史 Patch 数量。作者改变 historical patch 数量，验证 LocDiT context 的关键作用。Table 5 表明，没有历史上下文时性能会严重恶化；加入历史上下文会把 LocDiT 从单纯生成转变为 outpainting，显著改善合成结果。对 $P=4$ 这类较大 patch，使用一个历史 patch 能在计算效率与性能之间取得最佳平衡。

LM Guidance。Figure 4 显示，LM guidance 显著改善 diffusion decoder 的推理。没有 guidance（$w=0$）时，WER 与 SIM 都明显恶化；guidance scale 过大同样会损害结果。即使 NFE 极低（如 $2$），只要配合 LM guidance，DiTAR 在 WER 与 SIM 上仍能保持良好表现。

Temperature 对 language model 推理中平衡多样性与确定性至关重要，但连续值 LM 中的定义仍缺乏研究。本文把 temperature $\tau$ 定义为反向 ODE 求解过程中引入随机采样的时间点。

为研究 $\tau$ 如何平衡多样性与稳定性，作者在不同 $\tau$ 下把同一文本合成 $500$ 次，用于评估声音多样性。只把文本作为 DiTAR prefix input，让模型 autoregressively 生成随机声音；随后用 WavLM-large 提取 speaker embedding，再使用预先在训练集上拟合的 Principal Component Analysis（PCA）降维并可视化前两个主成分。Figure 5 表明，$\tau$ 越大，说话人声音越多样。

作者进一步测试不同 temperature 下客观指标的变化。Table 6 显示，在大规模测试集上，不同 temperature 都能得到较好的客观指标。

整体趋势是：较高 temperature 会带来略好的 SIM，较低 temperature 则带来更好的 WER。作者推测，这是因为模仿未见说话人的声音需要模型具备更大多样性，而发音稳健性更依赖确定性与稳定性。

作者考察三项推理指标：1）throughput，单位时间生成的音频时长；2）Real Time Factor（RTF），生成时间与音频时长之比；3）latency，输出首帧音频所需时间（不含 vocoder）。在参数规模相同的条件下，比较 NAR（diffusion transformer）与 DiTAR。推理时所有系统均使用 CFG 和 $\mathrm{NFE}=10$，并在一张 A100 GPU 上生成 $10$ 秒音频来评估全部指标。

如 Figure 6 所示，batch size 较小时，NAR 因不含 autoregressive computation 而具有更高 throughput；随着 batch size 增大，NAR 的高 FLOPs 限制 throughput 增长，而 DiTAR 的 throughput 快速上升并显著超过 NAR。

DiTAR 结合 language model 与 diffusion transformer，也继承了两者的特性。Table 7 显示，由于 autoregressive 性质，DiTAR 的 latency 始终低于 NAR；RTF 方面，NAR 并行度高，在小 batch 下速度更快。DiTAR 则可通过改变 patch size 调整并行度，在 latency 与 RTF 之间取舍。

本文提出 DiTAR：利用 diffusion transformer 的高质量生成能力创建局部 patch，同时保留 language model 的核心 autoregressive 特征。推理时，把 temperature 定义为求解反向 diffusion ODE 过程中引入噪声的时间点。用于 zero-shot speech synthesis 后，DiTAR 以显著更低的计算需求，在稳健性、说话人相似度与自然度方面取得 SOTA。

LibriLight 没有 transcription，因此作者使用内部 ASR 系统转写该数据集，再把文本转换为 phoneme。对 Emilia，则对官方提供的 transcription 执行 Grapheme-to-Phoneme（G2P）转换。

训练使用 $16$ 张 A100 GPU，每张处理 $15\mathrm{K}$ token 的 batch，共训练 $0.5$M step。优化器为 AdamW，constant learning rate 为 $10^{-4}$，$\beta_t=0.9$、$\beta_2=0.99$。对 $1$B 参数 DiTAR，则使用 $32$ 张 A100 GPU，每张 GPU 的 batch size 为 $7.5\mathrm{k}$。

为验证 DiTAR 的 scaling behavior，作者训练了四种规模的模型，参数量从 $0.1$B 到 $1$B；具体 hyperparameter 见 Table 8。

如 Equation (5) 所述，$x_\theta$ 表示预测数据，可在不同 diffusion parameterization 下推导。考虑 $x_t=\alpha_t x_0+\sigma_t\varepsilon$，其中 $x_0\sim q(x_0)$ 表示数据，$\varepsilon\sim\mathcal{N}(0,\mathbf{I})$ 表示 standard Gaussian noise，$t\in[0,1]$。

对 $\epsilon$-prediction mode：

对 $x_0$-prediction mode，$x_\theta(x_t,t)$ 就是模型的直接预测。对又称 Flow Matching 的 $v$-prediction mode，可从 $v$ 的定义逐步推导：

重新整理 $v$ 与 $x_0$ 后得到：

因此：

计算各系统 FLOPs 时，作者使用 $3$ 秒 audio prompt 合成 $10$ 秒音频。假设文本 frame rate 为 $7\,\mathrm{Hz}$，prompt 文本长度为 $21$，目标文本长度为 $70$。只统计计算占主导的模块，包括 causal transformer、non-causal transformer 与 convolutional layer；causal transformer 的计算考虑 KV cache。Multi-head 设置不影响 FLOPs，因此统一假设 head 数为 $1$；bias 与 normalization layer 对总 FLOPs 贡献很小，暂不计入。

矩阵乘法中的加法与乘法次数相同，因此结果乘以 $2$。Diffusion 部分还要乘以 Number of Function Evaluations（NFE），Classifier-Free Guidance（CFG）则带来双倍计算成本。

对具有 $N$ 层、hidden channel size 为 $C$、kernel size 为 $K$、输入长度为 $T$ 的一维 convolution network，FLOPs 为：

对具有 $N$ 层、hidden size 为 $C$、FFN intermediate hidden size 为 $C_{\mathrm{mid}}$、输入长度为 $T$ 的 non-causal transformer，FLOPs 分解如下：

对具有 $N$ 层、hidden size 为 $C$、FFN intermediate hidden size 为 $C_{\mathrm{mid}}$、prefix input length 为 $T_{\mathrm{pre}}$、输入长度为 $T$ 的 causal transformer，FLOPs 分解如下。需要注意，原 PDF 的 Equation (22) 是 align 环境产生的空编号行，译稿按原样保留其编号。

除客观指标外，作者还采用多种主观指标，全面评估不同系统的生成能力。评测时，评分者会看到两段待比较音频和一段参考音频；既要比较两段音频后给出 CMOS，也要分别为每段音频打 N-MOS、Q-MOS 与 S-MOS。用户界面见 Figure 7 和 Figure 8。

不同系统采用不同设计理念。MAR 与 DiTAR 把 diffusion 计算下放给 diffusion head，而 ARDiT 在整个模型中执行 diffusion。DiTAR 在结构上更像 causal language model；扩展规模后，它会成为 continuous-valued LLM。