dots.tts Technical Report · 中文全文译稿

我们提出 dots.tts：一个拥有 20 亿参数、在连续 latent 空间中建模语音的连续自回归文本转语音（TTS）基础模型。相较现有连续自回归模型，我们的关键创新有三点。第一，采用多种目标训练 AudioVAE，构建具有语义结构且易于预测的连续语音空间。第二，在 flow-matching head 中使用完整历史条件，以保持长程一致性并减少生成漂移。第三，对 flow-matching head 进行无需奖励模型的自校正后训练，进一步提升鲁棒性和声学质量。在大规模多语种语料上训练后，dots.tts 在 Seed-TTS-Eval 上取得最佳平均表现：zh、en、zh-hard 测试集的 WER 分别为 0.94%、1.30%、6.60%，SIM 分别为 81.0、77.1、79.5。在其他基准上，dots.tts 也持续展现开源 SOTA 水平，具有很强的生成稳定性、声音克隆能力和情感表现力。为提高推理效率，我们进一步采用 CFG-aware MeanFlow 蒸馏，使输出流式和双流模式的首包延迟分别降至 85 ms 和 54 ms。为促进可复现研究与实际部署，我们以 Apache 2.0 许可证发布训练与推理代码，以及预训练、后训练和 MeanFlow 蒸馏检查点。

1 引言

文本转语音（TTS）系统在标准朗读语音基准上已经基本解决了可懂度问题。现代系统的用户期待更广：富有表现力且可控的输出、实时合成，以及对中性朗读、情感对话、副语言事件、歌唱和通用音频的覆盖。当前系统大致沿三条不同技术路线追求这一目标，而每条路线仍各有未解问题。

第一条路线是在 flow matching [1] 或 Diffusion 补全之上进行非自回归（NAR）生成。Voicebox [2]、F5-TTS [3]、OmniVoice [4] 和 LongCat-AudioDiT [5] 均属此类。它们通过一次并行前向生成整段话语，而少步蒸馏 [6, 7] 可将推理延迟压得很低。NAR 很适合离线数据合成、配音和素材生产；自回归（AR）生成则更自然地适配交互场景。本报告聚焦 AR 路线。

随着大语言模型的成功，基于离散 token 的 AR 生成已成为主流生产范式。CosyVoice 系列 [8]、Qwen3-TTS [9]、Llasa [10]、IndexTTS [11, 12] 和 Seed-TTS [13] 都采用了这一配方的某种变体。把语音压成离散词表后，系统可以复用文本大语言模型（LLM）技术栈的大部分能力：稳定的 next-token prediction 训练、成熟的 SFT 与偏好优化工具、研究充分的扩展规律和高效推理 kernel，因此它目前主导部署。离散 AR 的上限来自 tokenizer：它限制了语言模型（LM）能够表达的内容。这一瓶颈解释了为何离散 token 系统难以在同一分布中同时覆盖语音、情感副语言、歌唱和环境声。

近期一条研究路线通过连续表征的 AR 生成来移除这一瓶颈。这些方法主要区别在于每一步如何参数化分布。KALL-E [14] 以 Kullback-Leibler divergence（KL）目标预测 Flow-VAE 的下一帧 latent，不含 diffusion 组件。DiTAR [15]、VibeVoice [16] 和 VoxCPM [17] 将 LM backbone 与逐 patch 的 diffusion 或 flow-matching head 结合，ARDiT [18] 则把两种角色统一到 decoder-only diffusion transformer 中。Any2Speech [19] 更广泛地主张在连续 tokenizer 上进行原生 agentic 生成。避免离散量化可以提高感知上限，使语音、副语言、歌唱和通用音频由同一分布覆盖，同时保留 LM 系统便于部署的流式与 prompt-conditioned 特性。

迄今阻碍这一范式达到生产成熟度的主要问题，是长程误差累积。对于离散 token，codec 会在不完美样本到达波形之前将其吸附回一个有效的声学配置。连续 latent 没有这种量化缓冲：每一个微小预测误差都会被 decoder 忠实重建，随后又作为下一步 AR 的条件反馈。

dots.tts 是我们尝试弥合这一差距的方案：一个在连续 latent 上运行的端到端 AR TTS 模型。系统结合三项做法。第一，以高保真语义 AudioVAE 为基础，沿用 HoliTok 风格的 VAE 配方 [20]；在面向重建的训练之后，加入多任务下游目标和 WavLM [21] 表征对齐损失，使 latent 对 AR backbone 而言既有语义又可学习。第二，受 ARDiT 自回归 diffusion 形式启发，将连续生成拆成三个专门模块：用于内容对齐表征的 semantic encoder、负责长程 text-to-content 建模的 LLM，以及负责局部声学渲染的 full-context AR flow-matching head。这样的分工避免语义推理与声学渲染在单一模块内竞争，降低长序列 rollout 的误差累积。第三，在后训练中，把 SOAR [22] 的无奖励自校正思想适配到 AR flow-matching head，让 acoustic DiT 接触自身偏离轨迹的推理误差，而不需要 reward model 或外部 teacher。这些选择共同提升长程稳定性，同时保留连续 latent 生成带来的保真度与表现力。

dots.tts 使用 150 万小时语音训练，在 Seed-TTS-Eval [23] 上取得 SOTA 的稳定性与 zero-shot voice cloning 质量，在 MiniMax 24 语种测试集 [24] 上取得最高平均 speaker similarity，并在 EmergentTTS-Eval [25] 和 CV3-Eval [8] 上具有竞争力；这些基准共同覆盖稳定性、说话人相似度、自然度、韵律、副语言和多语种能力。

为在不损失质量的前提下支持实时与对话应用，完整模型从一开始就在 latent-patch 层面设计为 causal。该因果结构使文本侧规划与音频 latent 发射可增量推进，从而支持 1T1A 交错式双流推理。我们进一步使用 MeanFlow 蒸馏，将 flow-matching ODE 压缩到仅需 2 至 4 次函数求值；同一 backbone 在 plain mode 下达到 85 ms 首包延迟、RTF 0.231，在 interleaved streaming mode 下达到 54 ms、RTF 0.245。完整效率表现（包括声音克隆场景和 audio-prompt cache）见效率一节。除模型外，我们还记录了一套完整的连续 AR TTS 训练配方，涵盖预训练、面向 flow-matching head 的 Self-corrective alignment，以及上述 MeanFlow 蒸馏。

概括而言，我们的贡献如下：

提出 dots.tts：一个拥有 20 亿参数、全连续、端到端的 AR TTS 系统；它移除了离散声学 token，同时在 Seed-TTS-Eval 上实现 SOTA 的稳定性与 zero-shot voice cloning 质量。
以三项互补设计缓解连续 AR 生成的不稳定：语义化 causal AudioVAE、受 ARDiT 启发的语义规划与声学渲染分解，以及用于 flow-matching head 的无奖励 Self-corrective alignment。
通过 CFG-aware MeanFlow 蒸馏与全因果 1T1A 交错流式结构提高推理效率，实现适合实时部署的低首包延迟：plain mode 为 85 ms、RTF 0.231，interleaved mode 为 54 ms、RTF 0.245。

2 模型

2.1 概览

dots.tts 是一个全连续、端到端的自回归 TTS 系统，由两个解耦网络构成：定义连续表征的 audio variational autoencoder（AudioVAE），以及逐 patch 预测该表征的 autoregressive backbone。AudioVAE 将 48 kHz 单声道语音编码为 25 Hz、128 维的 latent stream（时间维下采样 $1920\times$ ），再通过 BigVGAN 风格 decoder [26] 还原；训练完成后它被冻结，同时作为 backbone 的生成目标和输入表征。

backbone 包含三个组件：semantic encoder、LLM 与 autoregressive flow-matching head。LLM 负责生成的语义侧，flow-matching head 负责声学侧。LLM 从预训练文本 LLM 初始化，同时接收 BPE text token 与 6.25 Hz audio-semantic embedding stream，并在每个音频步输出一个 hidden state。在普通 TTS 模式中，文本作为 prefix；在低延迟流式模式中，文本和音频按 1T1A 布局交错。autoregressive flow-matching head（AR-FM）以该 hidden state 为条件，生成下一块由四帧构成的 25 Hz VAE latent patch。复用自 AudioVAE 训练管线的 semantic encoder，再把每个新 patch 投影为单个 6.25 Hz embedding，供 LLM 下一步使用。LLM 只看到这份语义摘要，而看不到原始 VAE latent；我们的实验发现，这是保持连续 AR rollout 稳定所必需的。

原论文 Figure 1：BPE 文本、LLM、因果语义编码器与 AR-FM 头组成的 dots.tts 连续自回归生成架构 — **Figure 1.** dots.tts backbone 总览。BPE text token 与 6.25 Hz audio-semantic embedding 共用一条 LLM stream；每个 LLM hidden state 为 AR-FM head 提供条件，使其生成下一块四帧 VAE latent patch，该 patch 在下一步经 semantic encoder 反馈。AudioVAE 单独训练，并在 backbone 训练中冻结。

2.2 AudioVAE

AudioVAE 沿用并改造 HoliTok 的训练配方与模型架构，合成侧使用 BigVGAN-v2 decoder 的 causal 变体。encoder 是由带 stride 的 residual block 构成的全因果卷积堆栈，下采样 stride 为 $[2,2,2,4,6,10]$ ，末端 posterior projection 逐帧输出均值和 log-variance。沿用 KALL-E，在标准 KL prior 之上加入 flow regularization，以塑造平滑、低噪的 latent 空间。两侧所有卷积均为 causal，使 VAE 兼容严格流式合成。

AudioVAE 分两阶段训练。第一阶段只优化重建质量：沿用 BigVGAN-v2 配方，把 multi-period 与 multi-scale sub-band CQT adversarial loss、multi-scale mel-spectral reconstruction loss、feature-matching loss，以及上述 KL + flow regularization 结合起来。

第二阶段优化可学习性。高度压缩的 latent 虽可重建，却保留了大量声学变化，使下游 LLM 难以把它作为生成目标。为了在不牺牲重建的前提下赋予空间语义结构，我们保留第一阶段损失，并对 latent 加入两类监督：（i）与冻结 WavLM teacher 的 frame-level alignment loss；（ii）由小型 encoder 和小型 LLM head 组成的多任务下游模块，在 ASR、情感和说话人分类目标的混合任务上联合训练。随后丢弃下游 LLM，只保留 encoder，供 backbone 复用为 semantic frontend。第二阶段在维持重建质量的同时，提高 latent 对下游 diffusion 的可学习性；离散 codec 与其他连续表征的完整重建对比见表 1。

2.3 LLM backbone

LLM 从 Qwen2.5-1.5B Base [27] 初始化，文本直接以 BPE 而非 phoneme 输入。音频侧运行在 6.25 Hz：semantic encoder 将每个 25 Hz VAE latent patch 压成供 LLM 下一步使用的 audio-semantic embedding，AR-FM head 则消费 LLM hidden state，输出下一块四帧 VAE patch。

训练支持两种序列布局：plain mode 把完整文本作为 audio span 前的 prefix，用于标准 TTS；1T1A interleaved mode 用于低延迟双流。二者只有序列布局不同，LLM、semantic encoder 和 AR-FM head 的逐步接口完全一致。文本位置不承担损失；LLM 通过从 AR-FM head 回传的 flow-matching 梯度进行端到端优化。

从文本 LLM 出发可带来更好的韵律、文本归一化和自然语言风格指令跟随能力，代价是数据需求：BPE 驱动的 backbone 比 phoneme 方案需要多得多的语音—文本对。我们据此扩大了训练语料。

2.3.1 双流模式的交错序列

在 1T1A interleaved mode 中，一个 BPE text token 与一个 6.25 Hz audio step 交替出现，直到 text-end marker；此后仅音频继续生成：

\underbrace{T\ A\ T\ A\ \ldots\ T\ A}_{\text{interleaved span}}\ \langle\mathrm{EOT}\rangle\ \underbrace{A\ A\ \ldots\ A}_{\text{audio-only tail}},

其中， $T$ 是 BPE text token， $A$ 是 6.25 Hz audio position， $\langle\mathrm{EOT}\rangle$ 表示文本流结束。1:1 交错使上游对话 LLM 能按自身文本发射速率驱动合成：它每输出一个 text token，就在下一音频步被消费，因此语音可在生成首个 text token 后立即启动，并逐 token 延续。这样，backbone 可直接作为流式对话 LLM 的音频输出，无需等待完整话语再开口。 $\langle\mathrm{EOT}\rangle$ 处理的常见情况是，对话模型已结束文本，而相应语音尚未完全渲染；此时音频会依据已接收文本上下文继续，直到 stop head 触发。

该模式面向实时对话系统：文本与音频均增量产生，合成应在完整话语到达前启动。当完整文本已在合成前准备好时，plain mode 仍是更佳选择。

2.4 语义编码器

semantic encoder 就是 AudioVAE 第二阶段训练中承担监督的同一模块，连同预训练权重移植到 backbone。它把每块新生成的 25 Hz VAE latent patch 变为一个供 LLM 使用的 6.25 Hz embedding，同时滤除高方差声学细节。

架构上，带 stride 的 causal-convolution projector 先把输入帧率减半，随后接 24 层 causal Transformer，hidden dim 为 $1024$ 、FFN dim 为 $4096$ ；encoder 输出再沿时间成对分组，并线性投影到 LLM embedding 维度，从 25 Hz latent frame 到 6.25 Hz LLM token 实现端到端 $4\times$ 下采样。每一步都严格 causal，因此流式推理时可逐 patch 展开同一模块。

由于 encoder 已预训练为暴露具有语义结构的特征，它会把 latent patch 映射到与 LLM 文本语义空间对齐的表征。这样，LLM 在 AR rollout 中可以忽略声学细节，只依据紧凑的历史摘要进行条件建模。

2.5 自回归 Flow Matching 头

2.5.1 逐步 latent 生成

沿用 DiTAR 和 ARDiT，我们使用 Diffusion Transformer（DiT）[28] 作为 velocity-field predictor：18 层、hidden dim $1024$ 、FFN dim $4096$ ，每层采用 RoPE，使用带 QK-norm 的 RMSNorm，并由 diffusion timestep 与 speaker-embedding 侧输入驱动 adaLN-zero modulation。训练目标是 Rectified Flow [6] 的 vector field，即回归 Gaussian noise 与干净 latent patch 之间的直线速度。推理时用少量 Euler step 求解 ODE。

每一步的 VAE patch 由 4 帧 25 Hz latent 组成，对应 VAE latent 与 6.25 Hz LLM stream 的 $4{:}1$ 帧率比。以 $P_n=(\ell_n^1,\ldots,\ell_n^4)$ 表示干净 patch，以 $Z_n=(z_n^1,\ldots,z_n^4)$ 表示其含噪版本。每个 audio position 上，head 消费由三条 stream 投影到共同 hidden space 后组成的 flow-matching context：

该位置的 LLM hidden state $H_n$ （一个 token）；
所有更早 audio position 的干净 patch $P_{<n}$ （每个四个 token）；
正在生成的含噪 patch $Z_n$ （四个 token）。

这些内容交错组成单一序列：

[\,H_0,\,P_0,\,H_1,\,P_1,\,\ldots,\,H_{n-1},\,P_{n-1},\,H_n,\,Z_n\,],\tag{1}

按上述约定，每个 $H_n$ 占一个 token，每个 $P_n$ 或 $Z_n$ 占四个 token。图 1 右上插图展示了该布局，以及下一步历史中用积分得到的 $P_n$ 替换 $Z_n$ 的操作。由冻结 CAM++ encoder [29] 提取的 speaker x-vector 作为全局 adaLN-zero 条件；训练时 LLM hidden stream 与 speaker stream 各以 $p_{\mathrm{drop}}=0.5$ 独立丢弃，以便推理时分别对文本内容和音色使用 classifier-free guidance [30]。CFG 在两个条件上联合应用：conditional branch 保留二者，unconditional branch 同时丢弃二者，送入 ODE solver 的速度是两者的标准线性外推。推理 AR loop 如下：从 $[H_0,Z_0]$ 出发，integrator 返回 $P_0$ ；以 $P_0$ 替换 $Z_0$ ，追加下一对 $[H_1,Z_1]$ ，继续积分并重复。每个新产生的 $P_n$ 也反馈给 semantic encoder，以更新下一次 forward 时 LLM 的 audio-semantic input。

2.5.2 块因果训练 attention

我们用一次 forward pass 并行训练一句话中全部 $N$ 个 patch 的 AR-FM head，同时精确复现每个 patch 在推理时可见的逐步自回归上下文。其机制是在拼接的 cause/generation 序列上使用 block-causal attention mask，两个半段共享 position index。

训练序列由等长的两个半段组成。cause 部分为：

C = [\,H_0, P_0, H_1, P_1, \ldots, H_{N}, P_{N}\,]

其中保存由 LLM 条件化的干净历史；generation 部分为：

Z = [\,H_0, Z_0, H_1, Z_1, \ldots, H_{N}, Z_{N}\,]

其中保存正在 denoise 的含噪 patch，每个 patch 独立采样 flow-matching time。两个半段之间重置 position index： $C$ 内 token 编号为 $0,1,\ldots,|C|-1$ ， $Z$ 以相同逐 block 布局从 $0$ 重新开始，因此 $Z$ 中每个 $(H_n,Z_n)$ 继承 $C$ 中对应 $(H_n,P_n)$ 的 position range。由此， $Z_n$ 与 $P_{<n}$ 之间的 RoPE phase 和逐步推理 forward 一致。

原论文 Figure 2：AR-FM 头在并行训练与逐步推理时的 block-causal attention mask 和 RoPE position ID — **Figure 2.** AR flow-matching head 的 attention mask 与 RoPE position ID（ $H$ block 大小为 $1$ ， $P$ / $Z$ block 大小为 $L=4$ ）。（a）在 $[C|Z]$ 上的 block-causal 训练 mask。（b）第 $n$ 步推理 mask：左侧为 KV-cache 历史，右侧为新追加的 $(H_n,Z_n)$ 。（c）position ID：训练行拼接 $C$ 与 $Z$ 两段，红色标记表示 $Z$ 位置重置的边界；推理行把 $Z_n$ 放在训练时它所占的同一位置。

block-causal mask 把 $(C+Z)\times(C+Z)$ attention matrix 分成四个子块： $C\to C$ 是标准 causal，复现 LLM 侧 prefix 顺序； $C\to Z$ 完全遮蔽，使 cause stream 的 hidden state 不受含噪 target 影响，并与推理时取值相同； $Z\to C$ 是 prefix-causal，使每个 generation block $Z_n$ 只关注 $H_{\le n}$ 与 $P_{<n}$ ，即该 patch 推理时所见的自回归上下文； $Z\to Z$ 为 block-diagonal，使不同 patch 在各自采样时间独立 denoise。结合共享 position index，该布局使并行训练 forward 在数值上等价于逐步推理 rollout，却能一次训练全部 $N$ 个 head。

由于 AR-FM prefix 已携带全部 LLM hidden state，AR-FM head 本身就是一个完整的文本条件语音生成器，意义与 ARDiT 相同：原则上即使 LLM 不再接收任何声学反馈，它也能合成音频。我们观察到，这会推动 LLM 编码语义而非声学信息。

2.6 训练目标

2.6.1 AudioVAE 目标

AudioVAE 有独立的两阶段目标，先于 backbone 优化，并在以下所有 backbone 阶段冻结。对每个训练片段：

\mathcal{L}_{\mathrm{vae}} = \underbrace{ \mathcal{L}_{\mathrm{mel}} + \mathcal{L}_{\mathrm{adv}} + \mathcal{L}_{\mathrm{fm}} + \beta_{\mathrm{kl}}\mathcal{L}_{\mathrm{kl}} }_{\text{Stage 1}} \;+\; \underbrace{ \lambda_{\mathrm{wavlm}}\mathcal{L}_{\mathrm{wavlm}} + \lambda_{\mathrm{sup}}\mathcal{L}_{\mathrm{sup}} }_{\text{added in Stage 2}},\tag{2}

第一阶段是一组 BigVGAN-v2 风格的重建损失： $\mathcal{L}_{\mathrm{mel}}$ 为 multi-scale mel， $\mathcal{L}_{\mathrm{adv}}$ 为 multi-period 加 sub-band CQT adversarial， $\mathcal{L}_{\mathrm{fm}}$ 为相应的 feature-matching，再以 latent 上的 KL + flow prior 正则化。第二阶段加入与冻结 WavLM teacher 对齐的 frame-level cosine loss $\mathcal{L}_{\mathrm{wavlm}}$ ，以及在下游 encoder—LLM block 中经 ASR、情感、说话人 head 求和的监督损失 $\mathcal{L}_{\mathrm{sup}}$ ；其中 encoder 被保留为 semantic frontend。以下 backbone 损失都把 AudioVAE 视为固定的 encoder/decoder 对。

2.6.2 预训练目标

backbone 预训练由两个目标共同驱动完整模型。

Flow Matching loss

flow-matching loss 是逐 patch 的 mean-squared error，比较预测速度与采样 VAE latent 上的解析 conditional vector field。沿用 Rectified Flow 形式，令 $P_n$ 表示 audio position $n$ 上干净的四帧 VAE latent patch，并使用前述逐步 flow-matching context，我们优化：

\mathcal{L}_{\text{fm}} = \mathbb{E}_{n,\,t \sim \mathcal{U}(0,1),\, \epsilon \sim \mathcal{N}(0, I),\, P_n} \left\| v_\theta\!\left(Z_n^t,\, t,\, H_{{\le}n},\, P_{<n},\, s\right) - \left(P_n - \epsilon\right) \right\|^2,\tag{3}

其中， $\epsilon\sim\mathcal{N}(0,I)$ 从标准 Gaussian prior 采样， $P_n$ 是由四帧 25 Hz VAE latent 组成的 ground-truth patch， $Z_n^t=(1-t)\epsilon+tP_n$ 是 noise 与 clean patch 的线性插值， $v_\theta$ 是 DiT-based AR-FM head 预测的 velocity field， $H_n$ 是 audio position $n$ 上作为逐步条件信号的 LLM hidden state， $P_{<n}$ 是此前生成的干净 patch，组成 flow-matching prefix， $s$ 是全局 speaker x-vector。这是唯一会反向传播到 LLM 与 semantic encoder 的损失：文本位置权重为零，audio-span position 被路由至 flow-matching head，因此 LLM 通过 AR-FM head 回传的梯度进行端到端优化。

停止 loss

专用 EOS prediction head 是接在每个 audio position 的 LLM hidden state 分离副本上的两层 MLP；它以 balanced binary cross-entropy 训练，使唯一正样本位置的总权重等于此前全部负样本的总权重。令 $N$ 为话语的 audio position 数， $N-1$ 为 EOS target，并令：

p_n = \sigma\!\left(\mathrm{MLP}\!\left(\operatorname{sg}(H_n)\right)\right)

表示位置 $n$ 的预测停止概率，其中 $\operatorname{sg}(\cdot)$ 是 stop-gradient operator， $\sigma$ 是 sigmoid。stop loss 为：

\mathcal{L}_{\text{eos}} = -\tfrac{1}{2}\,\log p_{N-1} \;-\; \frac{1}{2(N-1)} \sum_{n=0}^{N-2} \log\!\left(1 - p_n\right),\tag{4}

因此，位置 $N-1$ 的单个正样本与之前 $N-1$ 个负样本合计贡献相同的总权重。分离 hidden state 可避免 stop predictor 干扰 AR rollout dynamics。

因此，backbone 的总预训练损失为：

\mathcal{L}_{\mathrm{pre}} = \mathcal{L}_{\mathrm{fm}} + \mathcal{L}_{\mathrm{eos}},\tag{5}

两项损失权重相同。整个 backbone 训练期间，AudioVAE 与 speaker encoder 保持冻结；只有 LLM、semantic encoder、AR-FM head、stop head，以及连接这些模块的小型输入/输出 projection 接收梯度。

2.6.3 后训练目标

预训练后，我们只后训练 AR-FM head 内的 DiT acoustic generator。AudioVAE、speaker encoder、semantic encoder 与 LLM 均被冻结，提供固定的声学、说话人和语义上下文。令 $v_\theta$ 表示 self-corrective stage 中可训练的 velocity predictor， $v_\phi$ 表示蒸馏阶段的 MeanFlow student。上标 $(b)$ 索引 minibatch element，其中 $b=1,\ldots,B$ ， $B$ 为 minibatch size。除非另有说明，平方范数均在 latent patch 维度上计算。

为简化记号，本节使用与预训练 flow-matching 形式一致的紧凑 noise-to-data 记号。对采样的 VAE latent patch $P_i$ ，记：

x_0 \equiv \epsilon \sim \mathcal{N}(0,I),\qquad x_1 \equiv P_i,\qquad x_t \equiv Z_i^t = (1-t)x_0 + t x_1,

并以 $c$ 表示所有条件信息。其中， $x_0$ 是 Gaussian noise， $x_1$ 是干净 VAE latent patch， $x_t$ 是 flow time $t\in[0,1]$ 上的插值 patch， $c$ 包含冻结模块提供的固定声学、说话人和语义上下文。 $i$ 表示采样 latent patch 的索引，与 minibatch index $b$ 无关。

对于任意 velocity predictor $f$ 和条件 $c$ ，classifier-free guidance（CFG）写为：

f^{\mathrm{cfg}}(x_t,t,c;\gamma) = f(x_t,t,c) + \gamma\left(f(x_t,t,c)-f(x_t,t,\varnothing)\right),\tag{6}

其中， $\varnothing$ 表示丢弃条件的 branch， $\gamma\ge 0$ 是 CFG scale。当 $f=v_\theta$ 时，对应的 CFG-guided predictor 记为 $v_\theta^{\mathrm{cfg}}$ 。两个后训练阶段均沿用该约定。

Self-corrective alignment

沿用 SOAR，第一阶段对预训练 DiT 使用无奖励自校正目标。以 $\omega(t)\ge0$ 表示 flow matching 的 time-dependent regression weight，用于平衡不同噪声水平训练样本的贡献；on-trajectory 与辅助 off-trajectory loss 使用同一 weighting function。

对每个 minibatch element $b$ ，采样 flow time $\tau^{(b)}\sim p_\tau$ ，其中 $p_\tau$ 是 $[0,1]$ 上的训练时分布。对任意 $s\in[0,1]$ ，记：

x_s^{(b)} = (1-s)x_0^{(b)} + s x_1^{(b)} .

另引入 $h_{\mathrm{soar}}>0$ 作为归一化 flow time 上的 self-correction rollout step size。由于本文约定从 $t=0$ 的 noise 走向 $t=1$ 的 data，从 $\tau^{(b)}$ 出发的 rollout 前进到：

\tau_+^{(b)}=\min(\tau^{(b)}+h_{\mathrm{soar}},1).

on-trajectory 项就是通常的 flow-matching regression：

\ell_{\mathrm{on}}^{(b)} = \omega\!\left(\tau^{(b)}\right) \left\| v_\theta\!\left(x_{\tau^{(b)}}^{(b)},\tau^{(b)},c^{(b)}\right) - \left(x_1^{(b)}-x_0^{(b)}\right) \right\|_2^2 .\tag{7}

为使模型接触自身推理误差，我们从 $x_{\tau^{(b)}}^{(b)}$ 出发，用当前 CFG-guided predictor 做一次分离梯度的 Euler rollout：

\begin{aligned} \hat{x}_{\tau_+}^{(b)} &= \operatorname{sg}\!\left[ x_{\tau^{(b)}}^{(b)} + \left(\tau_+^{(b)}-\tau^{(b)}\right) v_\theta^{\mathrm{cfg}} \!\left( x_{\tau^{(b)}}^{(b)}, \tau^{(b)}, c^{(b)}; \gamma_{\mathrm{soar}} \right) \right], \end{aligned}\tag{8}

其中， $\gamma_{\mathrm{soar}}\ge0$ 是 self-corrective rollout 使用的 CFG scale。stop-gradient operator $\operatorname{sg}[\cdot]$ 阻止梯度穿过 rollout trajectory 反向传播。

随后，把这个 off-trajectory state 重新加噪并拉向原始 noise endpoint。令 $K_{\mathrm{aux}}$ 为每个 minibatch element 抽取的 auxiliary sample 数；对 $k=1,\ldots,K_{\mathrm{aux}}$ ：

\begin{aligned} \alpha^{(b,k)} &\sim \mathcal{U}(0,1), \\ \tau_{\mathrm{aux}}^{(b,k)} &= (1-\alpha^{(b,k)})\tau_+^{(b)}, \\ x_{\mathrm{aux}}^{(b,k)} &= \operatorname{sg}\!\left[ (1-\alpha^{(b,k)})\hat{x}_{\tau_+}^{(b)} + \alpha^{(b,k)}x_0^{(b)} \right]. \end{aligned}\tag{9}

辅助 target 是把 $x_{\mathrm{aux}}^{(b,k)}$ 在 $t=1$ 传输到干净 endpoint $x_1^{(b)}$ 的 endpoint-consistent velocity：

u_{\mathrm{aux}}^{(b,k)} = \operatorname{sg}\!\left( \frac{x_1^{(b)}-x_{\mathrm{aux}}^{(b,k)}} {1-\tau_{\mathrm{aux}}^{(b,k)}+\varepsilon_{\mathrm{aux}}} \right),\tag{10}

其中， $\varepsilon_{\mathrm{aux}}>0$ 是一个很小的数值常量，用于避免接近 data endpoint 时除以零。

对应的 auxiliary loss 为：

\ell_{\mathrm{aux}}^{(b,k)} = \omega\!\left(\tau_{\mathrm{aux}}^{(b,k)}\right) \left\| v_\theta\!\left( x_{\mathrm{aux}}^{(b,k)}, \tau_{\mathrm{aux}}^{(b,k)}, c^{(b)} \right) - u_{\mathrm{aux}}^{(b,k)} \right\|_2^2 .\tag{11}

令：

\mathcal{A}\subseteq \{1,\ldots,B\}\times\{1,\ldots,K_{\mathrm{aux}}\}

表示保留的 auxiliary sample 集合，并令 $M_{\mathcal A}=|\mathcal A|$ 。若没有过滤辅助样本，则 $M_{\mathcal A}=BK_{\mathrm{aux}}$ 。给定 auxiliary-loss weight $\lambda_{\mathrm{aux}}\ge0$ ，self-corrective alignment loss 是按样本数归一化的组合：

\mathcal{L}_{\mathrm{soar}} = \frac{ \sum_{b=1}^{B}\ell_{\mathrm{on}}^{(b)} + \lambda_{\mathrm{aux}} \sum_{(b,k)\in\mathcal{A}}\ell_{\mathrm{aux}}^{(b,k)} }{ B+\lambda_{\mathrm{aux}}M_{\mathcal A} } .\tag{12}

这就是后文训练细节中所述的 flow-matching-native 后训练阶段；我们的 Self-corrective alignment 直接对 acoustic DiT 施加无奖励自校正，而非对整个 TTS stack 操作。

CFG-aware MeanFlow 蒸馏

第二阶段把自校正后的 DiT 冻结为 teacher，记为 $v_{\theta_{\mathrm T}}$ ；训练 student DiT $v_\phi$ 预测时间区间 $[t_a,t_b]$ 上的 mean velocity。区间端点从分布 $p_{\mathrm{mf}}$ 中采样，满足：

0 \le t_a < t_b \le 1, \qquad \Delta t = t_b-t_a .

对训练样本 $(x_0,x_1,c)$ ，student 在区间起点的输入为：

x_{t_a}=(1-t_a)x_0+t_a x_1 .

从下式出发：

x_{t_a}^{\mathrm{T},\mathrm{cfg}} = x_{t_a},

使用冻结 teacher 和 CFG scale $\gamma_{\mathrm{mf}}$ ，在 $[t_a,t_b]$ 上生成 teacher trajectory：

\frac{d x_t^{\mathrm{T},\mathrm{cfg}}}{dt} = v_{\theta_{\mathrm T}}^{\mathrm{cfg}} \!\left(x_t^{\mathrm{T},\mathrm{cfg}},t,c;\gamma_{\mathrm{mf}}\right), \qquad t\in[t_a,t_b].

随后，用 finite difference 近似 teacher 的 mean-velocity target：

\bar{v}^{\,\mathrm{T},\mathrm{cfg}}_{t_a\rightarrow t_b} \approx \frac{ x^{\mathrm{T},\mathrm{cfg}}_{t_b} - x^{\mathrm{T},\mathrm{cfg}}_{t_a} }{ t_b-t_a },\tag{13}

近似号表示 $x_{t_b}^{\mathrm{T},\mathrm{cfg}}$ 是通过数值积分得到的。

student 使用与 teacher 相同的 DiT backbone，并为 $\Delta t$ 增加 duration embedder；一次 conditional forward 即可预测区间平均速度：

v_\phi(x_{t_a},t_a,\Delta t,c).

其训练目标为：

\begin{aligned} \mathcal{L}_{\mathrm{mv}} &= \mathbb{E}_{(x_0,x_1,c),\, (t_a,t_b)} \!\left[ w_{\mathrm{mv}}\,\ell_{\mathrm{mv}} \right],\\ \ell_{\mathrm{mv}} &= \left\| v_\phi(x_{t_a},t_a,\Delta t,c) - \bar{v}^{\,\mathrm{T},\mathrm{cfg}}_{t_a\rightarrow t_b} \right\|_2^2 . \end{aligned}\tag{14}

我们使用逐样本自适应权重：

w_{\mathrm{mv}} = \left( \operatorname{sg}(\ell_{\mathrm{mv}}) + \varepsilon_{\mathrm{mv}} \right)^{-1/2},\tag{15}

其中， $\varepsilon_{\mathrm{mv}}>0$ 是一个很小的数值常量。 $w_{\mathrm{mv}}$ 中的 stop-gradient 阻止梯度穿过 adaptive weighting term。

由于 CFG 已融合进 teacher target，student 在推理时用单次 conditional forward 就能直接匹配 teacher 的 CFG-guided mean-velocity prediction；它避免了标准 CFG 所需的独立 conditional 与 unconditional 求值，同时保留校正后 teacher 的行为。

3 实验

本节概述 dots.tts 的训练配方，并从四个维度评估：基础质量、多语种覆盖、跨语种声音克隆和表现力。使用的基准包括 Seed-TTS-Eval、MiniMax-Speech 多语种测试集、CV3-Eval 与 EmergentTTS-Eval。

3.1 数据

backbone 总计使用 150 万小时音频训练，覆盖语音、带 caption 的语音和少量通用音频。数据来自三类来源：内部中英双语语音池、精选的开源 TTS/ASR 语料混合，以及小规模 caption-paired 数据集。下文依次介绍。

内部数据

大部分训练音频来自内部中文和英文语音语料。统一预处理 stack 包含 vocal enhancement、source separation、speaker-aware diarization，以及按语言路由的 ASR：英文和多数其他语言使用 Whisper-Large-v3 [31]，中文普通话使用 Paraformer [32]。随后依据 cross-ASR consistency、effective bandwidth estimation、UTMOS 与片段内 x-vector variance 过滤。过滤后得到约 120 万小时经过清洗、转写并按说话人组织的语音，用于 backbone 训练。

开源语料

除内部数据外，我们还纳入经过同一评分 stack 复评并达到质量门槛的开源 TTS/ASR 语料混合。它包括 Emilia、LibriTTS-R、HiFi-TTS、HiFi-TTS-2、WenetSpeech4TTS、AISHELL-3、Magicdata、MLS、MSR-86K、IndicVoices-R、EuroSpeech、WaxalNLP-TTS 与 FLEURS，总计约 30 万小时，贡献了大部分非 CJK 语言覆盖。

描述式数据

为了初步建立自然语言风格控制和通用音频生成能力，我们还整理了一个小规模 caption-paired 数据集。它包含带自然语言 caption 的 AutoACD [33] 样本，以及一个内部筛选的开源语料子集；后者用 Gemini 生成对说话人特征、情感、表达方式与声学环境的描述。该数据集总计约 7000 小时。

3.2 训练

完整训练管线分为三个阶段：在上述混合数据上预训练、flow-matching-native 后训练，以及用于低 NFE 推理的 MeanFlow 蒸馏。各阶段细节见以下小节。

3.2.1 AudioVAE

AudioVAE 使用内部与开源数据池中的 48 kHz 音频训练，并加入少量通用音频，使 latent 也覆盖非语音声音。优化器为 AdamW， $\beta=(0.8,0.99)$ 、 $\epsilon=10^{-6}$ ，学习率从 $10^{-4}$ 指数衰减到 $10^{-6}$ 。第一阶段在 9.6 秒裁剪片段上训练 50 万步；第二阶段再训练 20 万步，并以 WavLM 第 23 层 hidden representation 作为 frame-level teacher 对齐 latent。所得 AudioVAE 在本节后续训练中冻结。

3.2.2 预训练

预训练分三个阶段：modality alignment、general training 和 annealing，逐步扩大可训练参数集合、训练数据池与数据难度。三个阶段始终使用 AdamW 和一套 Warmup-Stable-Decay（WSD）schedule：每个阶段前 1% 的 step 都从 $2\times10^{-6}$ 线性 warmup 到共同峰值学习率 $2\times10^{-4}$ ；decay 延后到最后的 annealing stage，再从 $2\times10^{-4}$ 线性降至 $3\times10^{-5}$ 。

阶段 1：模态对齐

第一阶段在音频表征与 LLM 语义空间之间建立可用通道。我们冻结 LLM backbone，只更新 semantic encoder 与 AR-FM head；在内部 GPU cluster 上用约 0.5 小时音频的 global batch size 训练 10 万步。此阶段只使用 Emilia：在完整预训练混合数据上的试验极不稳定，我们认为原因是尚未与冻结 LLM 对齐的 encoder 需要承受梯度路由成本。我们还观察到，即使 LLM 固定，backbone 已能端到端生成可懂语音；发音错误仍很频繁，在 Seed-TTS-Eval 上 WER 约 42%，但在触碰任何 LLM 参数之前，alignment channel 已明确打通。

阶段 2：通用训练

模态通道建立后，我们解冻全部模块，在完整数据混合上端到端训练，不对不同来源做显式重加权。该阶段 global batch size 约为 8 小时音频，训练 70 万步，对应全语料 4 个 epoch。其作用是在大规模上建立 text-token-to-audio mapping，并吸收训练数据大部分跨语种与多域覆盖。

阶段 3：退火

最后阶段使用从一般训练池中按更严格内部质量分数阈值再次过滤出的高质量子集做 annealing。该阶段训练 10 万步，约为过滤子集 1 个 epoch；WSD schedule 进入 decay phase，学习率从峰值 $2\times10^{-4}$ 线性退火到 $3\times10^{-5}$ 。下文 dots.tts（Pretrain）行的所有评估结果都来自该阶段结束时的 checkpoint。

3.2.3 Self-corrective alignment

Self-corrective alignment 只更新 AR-FM head 中的 DiT acoustic generator，LLM、semantic encoder、AudioVAE 与 speaker encoder 保持冻结。在与预训练相同、但过滤为高质量话语的多语种/多方言数据池上，使用前述 Self-corrective alignment 目标。global batch 含 4 小时音频，训练 5 万步；前 5000 步线性 warmup 至峰值学习率 $3\times10^{-5}$ ，之后 cosine decay 到 $2\times10^{-6}$ 。辅助校正权重 $\lambda_{\mathrm{aux}}=1.0$ ；one-step rollout 使用 CFG scale $\gamma_{\mathrm{soar}}=1.2$ ；每个主样本产生 $N=6$ 个 auxiliary correction state。积分时间在本文 noise-to-data 约定下服从 logit-normal sampling distribution。

该阶段不使用 reward model、human preference model 或外部 acoustic teacher。当前 DiT 自行构造分离梯度的 off-trajectory state，supervised correction target 再教同一 DiT 把这些状态拉回干净 latent endpoint。实践中，这直接应对预训练与推理间的 multi-step ODE mismatch——小的速度误差会跨 AR patch 累积。全文用 dots.tts（SOAR）表示完成该 Self-corrective 后训练后的 checkpoint。

3.2.4 MeanFlow 蒸馏

完成 Self-corrective alignment 后，我们把校正后的 DiT 冻结为 teacher，并以其参数初始化 student DiT。student 保持相同 backbone，只加入 MeanFlow loss 使用的 interval-duration embedder；所有兼容参数从 teacher 复制，duration embedder 单独初始化。teacher trajectory 用 16-step Euler solver 构造，并在形成 teacher target 时使用 CFG，使 student 直接学习 CFG-guided mean-velocity prediction。

MeanFlow（MF）阶段使用相同设置和 8 小时音频的 global batch，训练 5 万步；前 5000 步 warmup，之后 cosine decay 到 $2\times10^{-6}$ 。峰值学习率提高到 $1\times10^{-4}$ ，因为 student 学习的是 interval-conditioned mean-velocity，而非原始瞬时速度。区间在同一 noise-to-data 时间参数化下从均值 $-0.4$ 、标准差 $1.0$ 的 log-normal distribution 采样。沿用 MeanFlow 配方，以概率 $0.5$ 混入 anchor sample 以稳定优化。推理时，student 按 $x_{t_b}=x_{t_a}+\Delta t\,v_\phi(x_{t_a},t_a,\Delta t,c)$ 更新区间，其中 $\Delta t=t_b-t_a$ ；CFG 已融合进蒸馏 target，因此每一步只需一次 conditional forward。所得 MeanFlow-distilled checkpoint 记为 dots.tts（MF）。

3.3 评测

3.3.1 设置

指标

本节用基于 ASR 的 word/character error rate 衡量内容保真度：英文和其他非中文语言用 WER，中文用 CER，但为表格兼容仍标作 WER。speaker similarity（SIM）是生成语音与 reference prompt 的 WavLM-SV embedding 余弦相似度。我们沿用近期报告的事实标准：英文和多语种基准使用 Whisper-Large-v3，中文普通话使用 Paraformer，MiniMax 多语种测试集的其他语言使用各基准默认 ASR。dots.tts（Pretrain）行全部来自预训练 checkpoint；MeanFlow student 在推理效率一节报告。

推理配置

dots.tts-Pretrain 与 dots.tts-SOAR 使用带 CFG 的 10-step Euler solver，即每步各做一次 conditional 和 unconditional DiT forward，有效 NFE 为 20。dots.tts-MF 则在 $\mathrm{NFE}\in\{2,3,4\}$ 下评估且不再使用 CFG：guidance 已融合进 MeanFlow 蒸馏 target，所以每一步只有一次 conditional forward。Pretrain 与 SOAR 推理，以及 MF teacher target 训练所用 CFG scale 均为 $\gamma=1.2$ 。全部实验使用 float32，并关闭 torch.compile。

基线

我们与广泛的近期 zero-shot TTS 系统比较，覆盖开源发布与商业产品：CosyVoice 2 [34]、CosyVoice 3 [8]、Qwen3-TTS [9]、IndexTTS 2 [12]、FireRedTTS-2 [35]、Seed-TTS [13]、MiniMax-Speech [24]、Fish-Audio S2 [36]、F5-TTS [3]、MegaTTS3 [37]、DiTAR [15]、VibeVoice [16] 和 VoxCPM 2 [38]。所有 baseline 数字都来自原论文，或相应开源发布的官方默认推理配置；我们未重新调优任何 baseline。

Table 1. LibriSpeech test-other 上的语音重建性能。FPS 是底层表征的时间帧率；粗体表示每列最佳的非 oracle 条目；“--”表示对应来源未报告该指标。

模型	采样率	帧率	PESQ↑		STOI↑	UTMOS↑	SIM↑	WER(%)↓
模型	采样率	帧率	NB	WB	STOI↑	UTMOS↑	SIM↑	WER(%)↓
真实语音	--	--	4.55	4.64	1.000	3.50	1.000	4.59
离散 token
XY-Tokenizer	16 kHz	100	2.80	2.23	0.89	3.46	0.82	6.19
WavTokenizer	16 kHz	75	2.40	1.96	0.87	3.22	0.68	13.35
X-codec2	16 kHz	50	2.83	2.26	0.90	3.64	0.81	6.85
SAC	16 kHz	62.5	2.92	2.39	0.90	3.84	0.85	5.77
连续表征
SemanticVAE	16 kHz	40	3.99	3.80	0.969	3.76	0.963	4.15
MingTok-Audio	16 kHz	50	4.23	4.12	0.981	3.75	0.950	4.27
VibeVoice	24 kHz	7.5	2.85	--	0.823	3.72	--	--
dots.tts VAE	48 kHz	25	4.09	3.95	0.973	3.75	0.969	4.14

3.3.2 AudioVAE 重建质量

在端到端 TTS 基准之前，先测 AudioVAE 的重建性能。表 1 在 LibriSpeech test-other 上报告 waveform reconstruction 指标，对比代表性离散 neural codec：XY-Tokenizer [39]、WavTokenizer [40]、X-codec2 [41]、SAC [42]，以及连续表征 SemanticVAE [43]、MingTok-Audio [44] 与 VibeVoice [16] 的 continuous tokenizer。所有 baseline 数字取自各自原始论文。

表 1 上半部分的离散 tokenizer 在 PESQ、STOI、SIM 与 WER 上落后于连续表征。在连续组中，dots.tts VAE 的输入带宽最高、帧率为表中第二低，PESQ、STOI、UTMOS、SIM 与 WER 均位于该组前列。另一项低帧率连续表征 VibeVoice 为 7.5 Hz，但 PESQ-NB 降至 2.85、STOI 降至 0.823。

latent 重建达到 WER 4.14、SIM 0.969，几乎不向端到端误差增加负担，因此重建不是下游瓶颈。第二阶段又加入 WavLM 对齐与多任务监督，使 latent 易于作为 LLM 生成目标；二者共同支撑后续 TTS 结果。

Table 2. Seed-TTS-Eval 的 zero-shot 结果。粗体表示每列最佳值。

模型	参数量	test-en		test-zh		test-zh-hard		平均
模型	参数量	WER(%)↓	SIM↑	WER↓	SIM↑	WER↓	SIM↑	WER↓	SIM↑
CosyVoice 3	1.5B	2.22	72.0	1.12	78.1	5.83	75.8	3.06	75.3
F5-TTS	0.3B	2.00	67.0	1.53	76.0	8.67	71.3	4.10	71.4
FireRedTTS 2	1.5B	1.95	66.5	1.14	73.6	8.98	70.3	4.02	70.1
IndexTTS 2	1.5B	2.23	70.6	1.03	76.5	7.12	75.5	3.46	74.2
MegaTTS 3	0.5B	2.79	77.1	1.52	79.0	—	—	—	—
MiniMax-Speech	—	1.65	69.2	0.83	78.3	—	—	—	—
Qwen3-TTS	1.7B	1.23	71.7	1.22	77.0	6.76	74.8	3.07	74.5
Seed-TTS	—	2.25	76.2	1.12	79.6	7.59	77.6	3.65	77.8
DiTAR	0.6B	1.69	73.5	1.02	75.3	—	—	—	—
VibeVoice	1.5B	3.04	68.9	1.16	74.4	—	—	—	—
VoxCPM 2	2B	1.84	75.3	0.97	79.5	8.13	75.3	3.65	76.7
dots.tts（Pretrain）	2B	1.34	76.8	0.96	80.5	6.46	79.2	2.92	78.8
dots.tts（SOAR）	2B	1.30	77.1	0.94	81.0	6.60	79.5	2.95	79.2
-- MF, NFE=4	2B	1.29	76.2	0.94	80.0	6.60	78.5	2.94	78.2
-- MF, NFE=3	2B	1.41	75.9	1.02	79.9	7.19	78.6	3.21	78.1
-- MF, NFE=2	2B	1.51	75.2	1.04	79.1	7.74	76.7	3.43	77.0

3.3.3 Seed-TTS-Eval

Seed-TTS-Eval 是广泛使用的 zero-shot voice cloning 基准，也是本报告的主要比较对象。我们按标准 zero-shot protocol 评估 test-en、test-zh、test-zh-hard 三个子集：模型以约 3 秒、训练中未见的 reference prompt 为条件，生成目标 transcript，再用基准指定的 ASR 与 WavLM-SV similarity 评分。

表 2 给出结果。dots.tts 在两个指标的平均值上都最佳。SIM 方面，SOAR 达到 79.2，比次优 baseline Seed-TTS（77.8）高 1.4，比 VoxCPM 2（76.7）高 2.5。WER 方面，Pretrain（2.92%）、SOAR（2.95%）和 MF NFE=4（2.94%）都低于所有已报告 baseline，后者中 CosyVoice 3 最好，为 3.06%。

Self-corrective 后训练校正预训练与推理之间的 multi-step ODE mismatch。表中 Pretrain 到 SOAR 的变化总体有所改善。MeanFlow 蒸馏在 NFE=4 时，各列 WER 与 SOAR 的差距不超过 0.01，代价约为 1 点 SIM。表中也给出 MF NFE=2 和 NFE=3，三者最佳工作点为 NFE=4。

3.3.4 MiniMax 多语言测试集

MiniMax-Speech 多语种测试集覆盖 24 种语言，每种语言包含 100 条话语和 2 位 MCV reference speaker，是常用的多语种 zero-shot 基准。我们用各语言指定 ASR 评估完整 24 语种集合。

表 3 报告各语言 WER 与 SIM。dots.tts（SOAR）的平均 SIM 最高，为 83.9，比次优 baseline VoxCPM 2（82.3）高 1.6；在 24 种语言中，dots.tts 某个变体单独取得 19 种语言的 SIM 第一，并在另外 2 种上并列第一。

WER 的情况更复杂。dots.tts 在多数语言上具有竞争力，但少数低资源离群点拉高了平均值。由于这些语言的 SIM 仍在正常区间，WER 差距指向 BPE token coverage 不足。弥合低资源 WER 差距的方法见局限性一节。

MeanFlow 蒸馏的 MF4 在平均层面与 SOAR 基本一致：二者分别为 6.8% / 83.5 与 6.8% / 83.9。MF4 偶尔取得单语种优势，平均 SIM 代价约为 0.4。

Table 3. MiniMax-Speech 多语种测试集上的逐语言 WER / SIM。粗体表示每行各指标最佳值。Average 只在各系统有报告值的语言上计算。粤语 WER 受表中所有系统共有的 ASR 忠实度下限影响，SIM 列仍可比较。

语言	MiniMax	ElevenLabs	Fish-Audio S2	VoxCPM 2	dots.tts（Pretrain）	dots.tts（SOAR）	dots.tts (MF4)
	WER(%) / SIM	WER / SIM	WER / SIM	WER / SIM	WER / SIM	WER / SIM	WER / SIM
Arabic	1.67 / 73.6	1.67 / 70.6	3.50 / 75.0	13.05 / 79.1	37.91 / 77.5	36.19 / 79.1	39.65 / 77.6
Cantonese $^*$	34.11 / 77.8	51.51 / 67.0	30.67 / 80.5	38.58 / 83.5	37.91 / 84.7	42.32 / 85.0	37.82 / 84.0
Chinese	2.25 / 78.0	16.03 / 67.7	0.73 / 81.6	1.14 / 82.5	1.08 / 82.3	0.77 / 82.5	1.01 / 81.8
Czech	3.88 / 79.6	2.11 / 68.5	2.84 / 79.8	24.13 / 78.3	5.05 / 83.8	4.25 / 84.2	5.67 / 83.9
Dutch	1.14 / 73.8	0.80 / 68.0	0.99 / 73.0	0.91 / 80.8	1.20 / 81.4	1.39 / 82.2	1.30 / 82.1
English	2.16 / 75.6	2.34 / 61.3	1.62 / 79.7	2.29 / 85.4	1.06 / 86.9	1.03 / 87.5	1.09 / 86.9
Finnish	4.67 / 83.5	2.96 / 75.9	3.33 / 81.9	2.63 / 89.0	3.44 / 88.0	4.08 / 88.3	3.61 / 88.3
French	4.10 / 62.8	5.22 / 53.5	3.05 / 69.8	4.53 / 73.5	3.82 / 78.2	3.56 / 78.6	3.26 / 78.5
German	1.91 / 73.3	0.57 / 61.4	0.55 / 76.7	0.68 / 80.3	1.03 / 79.5	1.70 / 80.6	0.91 / 79.5
Greek	2.02 / 82.6	0.99 / 73.3	5.74 / 79.5	2.84 / 86.0	2.97 / 87.6	3.00 / 87.6	3.19 / 87.3
Hindi	6.96 / 81.8	5.83 / 73.0	14.64 / 82.1	19.70 / 85.6	14.32 / 84.5	14.24 / 84.7	14.75 / 84.8
Indonesian	1.24 / 72.9	1.06 / 66.0	1.46 / 76.3	1.08 / 80.0	2.71 / 80.8	2.96 / 80.8	3.91 / 81.2
Italian	1.54 / 69.9	1.74 / 57.9	1.27 / 74.7	1.56 / 78.0	3.16 / 84.5	3.12 / 84.7	2.16 / 84.3
Japanese	3.52 / 77.6	10.65 / 73.8	2.76 / 79.6	4.63 / 82.8	7.16 / 83.1	5.28 / 83.7	5.17 / 83.1
Korean	1.75 / 77.6	1.87 / 70.0	1.18 / 81.7	1.96 / 83.3	5.30 / 84.3	5.66 / 83.6	3.93 / 84.9
Polish	1.42 / 80.2	0.77 / 72.9	1.26 / 81.9	1.14 / 88.4	2.72 / 87.3	3.59 / 87.8	3.42 / 87.5
Portuguese	1.88 / 80.5	1.33 / 71.1	1.14 / 78.1	1.94 / 83.7	1.64 / 83.1	2.00 / 84.3	2.40 / 83.1
Romanian	2.88 / 80.9	1.35 / 69.9	10.74 / 73.3	21.58 / 79.7	3.36 / 86.2	3.87 / 87.1	3.38 / 86.1
Russian	4.28 / 76.1	3.88 / 67.6	2.40 / 79.0	3.63 / 81.1	3.64 / 83.0	4.28 / 83.2	4.42 / 83.2
Spanish	1.03 / 76.2	1.08 / 61.5	0.91 / 77.6	1.44 / 83.1	0.96 / 83.9	1.27 / 84.0	0.80 / 84.0
Thai	2.70 / 80.0	73.94 / 58.8	4.23 / 78.6	2.96 / 84.0	7.45 / 83.8	7.86 / 83.9	8.03 / 84.2
Turkish	1.52 / 77.9	0.70 / 59.6	0.87 / 83.5	0.82 / 87.1	5.45 / 87.4	4.96 / 87.3	6.20 / 86.8
Ukrainian	1.08 / 73.0	1.00 / 64.7	2.30 / 74.7	6.32 / 79.8	1.61 / 80.5	1.27 / 81.2	1.66 / 80.0
Vietnamese	0.88 / 74.3	73.42 / 36.9	7.41 / 74.0	3.31 / 80.6	3.85 / 80.7	3.89 / 81.6	5.43 / 80.5
平均	2.8 / 76.6	7.5 / 65.5	3.7 / 78.0	5.7 / 82.3	6.6 / 83.5	6.8 / 83.9	6.8 / 83.5

3.3.5 CV3-Eval

CV3-Eval 随 CosyVoice 3 发布，以含困难子集的中英拆分补充前两个基准；更重要的是，它包含跨语种 voice cloning 子集：用一种语言的 reference speaker 生成另一语言文本。跨语种克隆是 timbre disentanglement 最困难的测试之一。

Table 4. CV3-Eval 结果。W 表示 WER，S 表示 SIM。

模型	Monolingual W(%)↓				en→zh		zh→en
模型	zh	en	hard-zh	hard-en	W↓	S↑	W↓	S↑
CosyVoice 2	4.08	6.32	12.58	11.96	13.50	63.3	6.47	64.3
CosyVoice 3 (1.5B)	3.91	4.99	9.77	10.55	8.01	66.9	4.32	66.4
Fish-Audio S2	2.65	2.43	9.10	4.40	—	—	—	—
VoxCPM 2	3.65	5.00	8.55	8.48	—	—	—	—
dots.tts（Pretrain）	3.51	5.24	9.69	5.99	10.88	74.6	4.97	71.9
dots.tts（SOAR）	3.71	4.50	9.22	4.49	10.75	75.0	5.66	72.8
dots.tts（MF，NFE=4）	3.95	4.05	9.10	4.37	10.73	73.8	5.24	70.9

表 4 给出 CV3-Eval 结果。dots.tts（MF4）在 hard-en 上以 4.37% 领先；FishAudio S2 与 VoxCPM 2 领先另外三个单语种子集，dots.tts 有竞争力但未领先。Pretrain 到 SOAR 在 hard-en 上从 5.99 降至 4.49，是本节各基准中观察到的最大 SOAR 阶段增益，MF4 通过蒸馏继承了这一改善。

在跨语种子集上，dots.tts（SOAR）两个方向的 SIM 都最高：en→zh 为 75.0，zh→en 为 72.8，绝对值比 CosyVoice 3 的 66.9 / 66.4 高 6 至 8 点。跨语种 WER 则落后于 CosyVoice 3：zh→en 为 5.66% 对 4.32%，en→zh 为 10.75% 对 8.01%。

3.3.6 EmergentTTS-Eval

EmergentTTS-Eval 使用 Gemini-2.5-Pro-0506 audio judge，将各系统与固定 gpt-4o-mini-tts reference 逐对比较，覆盖六类表现力场景：Emotions、Foreign Words、Paralinguistics、Complex Pronunciation、Questions 与 Syntactic Complexity。我们在 dots.tts 的 canonical zero-shot 配置上，同时报告基于 ASR 的 WER 和 judge preference win-rate（越高越好）。开源系统统一使用 basic_ref_en¹作为 zero-shot voice-clone prompt，全部运行 continuation voice-cloning mode。

Table 5. EmergentTTS-Eval 的部分结果，按 overall 排序。星号表示闭源或商业系统；粗体表示每列最佳，带下划线表示每列最佳开源结果。win-rate 由 Gemini-2.5-Pro-0506 判断各系统与 gpt-4o-mini-tts 的逐对胜负。

模型	声音	WER(%)↓	Overall↑	Emo.↑	Paraling.↑	Foreign↑	C. Pron.↑	Quest.↑	Syntax↑
Gemini-2.5-Flash-TTS★	Zephyr	10.39	70.7%	95.9%	91.3%	58.5%	55.7%	63.0%	57.9%
Gemini-2.5-Pro-TTS★	Zephyr	11.79	69.3%	86.9%	82.3%	58.2%	64.8%	61.3%	61.8%
gpt-4o-audio-preview★	Ballad	11.87	65.2%	88.8%	82.1%	60.2%	40.4%	57.0%	59.5%
gpt-4o-mini-tts★	Alloy	10.76	56.3%	59.2%	58.8%	57.3%	52.4%	52.7%	57.1%
BASELINE: gpt-4o-mini-tts	Alloy	10.61	50.0%	—	—	—	—	—	—
dots.tts（Pretrain）	basic_ref_en	10.86	49.2%	72.7%	54.7%	39.5%	18.0%	48.4%	58.4%
dots.tts (MF4)	basic_ref_en	11.75	47.9%	59.8%	55.2%	36.3%	16.7%	50.5%	64.8%
dots.tts（SOAR）	basic_ref_en	10.45	47.6%	63.9%	52.7%	39.4%	16.4%	47.0%	65.7%
Qwen3-TTS	basic_ref_en	17.32	42.8%	39.8%	50.7%	25.4%	30.0%	48.9%	60.4%
HumeAI★	—	12.85	42.7%	61.6%	36.9%	34.6%	34.3%	43.2%	44.6%
Qwen3-TTS	Ryan	19.65	42.3%	60.5%	62.7%	17.1%	9.8%	56.4%	43.0%
VoxCPM2	basic_ref_en	11.84	41.1%	42.3%	44.1%	33.3%	18.6%	53.4%	52.3%
MiniMax/speech-02-hd★	EN-narr	10.02	36.6%	40.9%	34.3%	34.3%	16.3%	47.3%	43.9%
11Labs Multilingual v2★	Brian	11.19	33.9%	30.4%	45.5%	35.5%	14.5%	39.5%	35.5%
F5-TTS	basic_ref_en	16.47	15.3%	26.8%	21.6%	1.8%	1.4%	14.8%	23.8%

表 5 给出结果。dots.tts（Pretrain）的总体 win-rate 为 49.2%，领先开源系统；SOAR 与 MF4 紧随其后，分别为 47.6% 与 47.9%。三个变体均接近按构造恒为 50% 的 gpt-4o-mini-tts baseline。SOAR 还取得开源系统最低 WER：10.45%。

Syntactic Complexity 上，SOAR 达到 65.7%，是开源和闭源系统中的最高分，下一名 Gemini-2.5-Pro 为 61.8%。Pretrain 到 SOAR 在该列提高 7.3 点，是我们观察到 SOAR 阶段带来的最大单列增益。同一变化也使 Emotions 从 72.7% 降到 63.9%，Paralinguistics 从 54.7% 降到 52.7%，表明 SOAR 以表现力为代价加强了文本忠实度。Emotions 上，Pretrain 以 72.7% 领先开源系统；闭源系统在该列为 87% 至 96%，但使用精调的内置音色，而 dots.tts 是从基础参考片段做 zero-shot voice cloning。

其余列中，dots.tts 位于中游。最弱的是 Complex Pronunciation（16% 至 18%）和 Foreign Words（36% 至 40%），二者都强调罕见或 out-of-distribution 词项。

3.4 效率

我们在 vllm-omni [45] 环境下，使用 Seed-TTS-Eval 测试集报告推理效率。

LLM 使用 vLLM 的 continuous batching 与 paged-KV attention；AR-FM head 和 semantic encoder 通过 torch.compile 做 JIT 编译。首包延迟（TTFP，ms）是从请求到达至首个音频包发出的 wall-clock latency；RTF 是生成 wall-clock time 与合成音频时长之比。

全部数字都在单张 NVIDIA H800 GPU 上测得，使用 MeanFlow-distilled student，AR-FM head 对每个 audio patch 采用 $\mathrm{NFE}=4$ 。在 text-only synthesis 中，dots.tts 可轻松实时运行：plain mode 的 RTF 为 0.231，1T1A interleaved mode 为 0.245。interleaving 在上游 LLM 解码时直接消费其 token stream，使大语言模型开始输出回答后音频即可启动，从而把首包延迟从 85.4 ms 降至 54.4 ms。

4 结论

我们提出 dots.tts：一个拥有 20 亿参数、全连续、端到端的自回归 TTS 系统，针对连续 AR 范式的两个开放问题——AR rollout 的长程误差累积，以及相较离散 token cascade 尚不成熟的后训练 stack。backbone 被拆成 semantic encoder → LLM → autoregressive flow-matching head；LLM 的音频侧输入仅是每个新生成 patch 的 6.25 Hz 语义摘要，而非原始 VAE latent。该解耦使 LLM 在紧凑的语义历史上工作，对长 rollout 稳定性至关重要。合成侧使用高保真连续 AudioVAE：它通过 WavLM alignment loss 与多任务下游模块训练，使高帧率连续 latent 仍可被下游 LLM 学习，同时保留低码率离散 codec 往往抹平的音色与副语言细节。预训练之后加入 Self-corrective alignment：一种无需奖励模型、原生适配 flow matching 的后训练阶段，使 acoustic DiT 学会从自身推理误差中恢复；又加入 CFG-aware MeanFlow 蒸馏，使每步只需一次 conditional model evaluation 即可少步生成。

dots.tts 使用 150 万小时语音训练，在 Seed-TTS-Eval 上达到 SOTA 的平均 WER 2.92 与 SIM 79.2，在 MiniMax 24 语种基准上达到最高平均 speaker similarity 83.9，并在 CV3-Eval 的困难子集和跨语种测试上领先。EmergentTTS-Eval 上，它取得表中最高 Syntactic Complexity 分数 65.7%，超过所有闭源系统；Emotions 方面则以 72.7% 成为最强开源系统。结合 CFG-aware MeanFlow 蒸馏和 1-text-1-audio interleaved streaming 布局，同一 backbone 在单张 H800 上达到 54 ms TTFB、RTF 0.245，适合实时与对话应用。我们以 Apache 2.0 许可证发布完整训练与推理代码，以及预训练、Self-corrective aligned 和 MeanFlow-distilled checkpoint，作为连续 AR TTS 的可复现参考 stack。

5 局限性

当前系统仍有若干局限。向 LLM 输入原始 BPE 而非 phoneme，虽继承文本能力，却需要更多数据；在文字系统差异大且训练不足的语言——阿拉伯语、印地语、土耳其语和越南语——上会出现明显低资源 WER 差距，在 Foreign Words 和 Complex Pronunciation 场景中也会对借词、技术术语和专名触及同一覆盖上限。直接改进方向包括：扩大这些语言在多语种预训练混合中的占比、加入小型 phoneme-side auxiliary input，以及增加 language-balanced 后训练阶段。发布系统也只在 canonical zero-shot 条件下评估，没有显式 style 或 instruction control；基于 caption-paired 数据构建 instruction-tuned 变体是自然下一步。尽管 AudioVAE 原理上不依赖模态，backbone 训练混合仍以语音为主，因此本次发布不覆盖歌唱和统一 speech-and-sound 生成。最后，高保真 zero-shot voice cloning 存在公认的滥用风险。发布 checkpoint 仅面向研究和授权部署，建议下游结合基于同意的参考音频政策、可靠的合成语音检测和内容水印。

贡献者

dots.tts 由 dots、小红书科技有限公司与上海交通大学计算机学院 X-LANCE Lab 联合开发。双方团队共同参与模型设计、训练配方与评估，并联合发布 checkpoint、代码和本报告。

作者

作者：Shi Lian、Changtao Li、Bohan Li、Hankun Wang、Da Zheng、Junfeng Tian、Yufeng Ma、Colin Zhang、Kai Yu。

参考文献

参考文献按原论文实际引用顺序保留英文书目信息。

Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow matching for generative modeling. In International Conference on Learning Representations (ICLR), 2023.
Matthew Le, Apoorv Vyas, Bowen Shi, Brian Karrer, Leda Sari, Rashel Moritz, Mary Williamson, Vimal Manohar, Yossi Adi, Jay Mahadeokar, et al. Voicebox: Text-guided multilingual universal speech generation at scale. In Advances in Neural Information Processing Systems (NeurIPS), 2023.
Yushen Chen, Zhikang Niu, Ziyang Ma, Keqi Deng, Chunhui Wang, Jian Zhao, Kai Yu, and Xie Chen. F5-tts: A fairytaler that fakes fluent and faithful speech with flow matching. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL): Long Papers, pages 6255–6271, 2025a.
Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, and Daniel Povey. Omnivoice: Towards omnilingual zero-shot text-to-speech with diffusion language models. arXiv preprint arXiv:2604.00688, 2026.
Detai Xin, Shujie Hu, Chengzuo Yang, Chen Huang, Guoqiao Yu, Guanglu Wan, and Xunliang Cai. Longcat-audiodit: High-fidelity diffusion text-to-speech in the waveform latent space. arXiv preprint arXiv:2603.29339, 2026.
Xingchao Liu, Chengyue Gong, and Qiang Liu. Flow straight and fast: Learning to generate and transfer data with rectified flow. In International Conference on Learning Representations (ICLR), 2023.
Zhengyang Geng, Mingyang Deng, Xingjian Bai, J. Zico Kolter, and Kaiming He. Mean flows for one-step generative modeling. In Advances in Neural Information Processing Systems (NeurIPS), 2025. Oral.
Zhihao Du, Changfeng Gao, Yuxuan Wang, Fan Yu, Tianyu Zhao, Hao Wang, Xiang Lv, Hui Wang, Chongjia Ni, Xian Shi, et al. Cosyvoice 3: Towards in-the-wild speech generation via scaling-up and post-training. arXiv preprint arXiv:2505.17589, 2025.
Qwen Team. Qwen3-tts technical report. arXiv preprint arXiv:2601.15621, 2026.
Zhen Ye, Xinfa Zhu, Chi-Min Chan, Xinsheng Wang, Xu Tan, Jiahe Lei, Yi Peng, Haohe Liu, Yizhu Jin, Zheqi Dai, et al. Llasa: Scaling train-time and inference-time compute for llama-based speech synthesis. arXiv preprint arXiv:2502.04128, 2025a.
Wei Deng, Siyi Zhou, Jingchen Shu, Jinchao Wang, and Lu Wang. Indextts: An industrial-level controllable and efficient zero-shot text-to-speech system. arXiv preprint arXiv:2502.05512, 2025.
Siyi Zhou, Yiquan Zhou, Yi He, Xun Zhou, Jinchao Wang, Wei Deng, and Jingchen Shu. Indextts2: A breakthrough in emotionally expressive and duration-controlled auto-regressive zero-shot tts. In Proceedings of the AAAI Conference on Artificial Intelligence, 2026.
Seed Team, ByteDance. Seed-tts: A family of high-quality versatile speech generation models. arXiv preprint arXiv:2406.02430, 2024a.
Kangxiang Xia, Xinfa Zhu, Jixun Yao, Wenjie Tian, Wenhao Li, and Lei Xie. Kall-e: Autoregressive speech synthesis with next-distribution prediction. In Proceedings of the AAAI Conference on Artificial Intelligence, 2026.
Dongya Jia, Zhuo Chen, Jiawei Chen, Chenpeng Du, Jian Wu, Jian Cong, Xiaobin Zhuang, Chumin Li, Zhen Wei, Yuping Wang, et al. Ditar: Diffusion transformer autoregressive modeling for speech generation. In International Conference on Machine Learning (ICML), 2025.
Zhiliang Peng, Jianwei Yu, Wenhui Wang, Yaoyao Chang, Yutao Sun, Li Dong, Yi Zhu, Weijiang Xu, Hangbo Bao, Zehua Wang, et al. Vibevoice technical report. arXiv preprint arXiv:2508.19205, 2025.
Yixuan Zhou, Guoyang Zeng, Xin Liu, Xiang Li, Renjie Yu, Ziyang Wang, Runchuan Ye, Weiyue Sun, Jiancheng Gui, Kehan Li, et al. Voxcpm: Tokenizer-free tts for context-aware speech generation and true-to-life voice cloning. arXiv preprint arXiv:2509.24650, 2025.
Zhijun Liu, Shuai Wang, Sho Inoue, Qibing Bai, and Haizhou Li. Autoregressive diffusion transformer for text-to-speech synthesis. arXiv preprint arXiv:2406.05551, 2024.
Xingchen Song, Di Wu, Dinghao Zhou, Pengyu Cheng, Hongwu Ding, Yunchao He, Jie Wang, Shengfan Shen, Sixiang Lv, Lichun Fan, et al. Any2speech: Borderless long speech synthesis. arXiv preprint arXiv:2603.19798, 2026.
Bohan Li, Shi Lian, Hankun Wang, Yiwei Guo, Yu Xi, Zhihan Li, Da Zheng, Colin Zhang, and Kai Yu. Holitok: A continuous holistic tokenization with robust dual capabilities of speech generation and understanding. arXiv preprint arXiv:2605.29948, 2026.
Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, et al. Wavlm: Large-scale self-supervised pre-training for full stack speech processing. IEEE Journal of Selected Topics in Signal Processing, 16(6):1505–1518, 2022.
You Qin, Linqing Wang, Hao Fei, Roger Zimmermann, Liefeng Bo, Qinglin Lu, and Chunyu Wang. Soar: Self-correction for optimal alignment and refinement in diffusion models. arXiv preprint arXiv:2604.12617, 2026.
Seed Team, ByteDance. Seed-tts-eval benchmark. Introduced in Seed-TTS, arXiv:2406.02430, 2024b.
MiniMax Team. Minimax-speech: Intrinsic zero-shot text-to-speech with a learnable speaker encoder. arXiv preprint arXiv:2505.07916, 2025.
Ruskin Raj Manku, Yuzhi Tang, Xingjian Shi, Mu Li, and Alex Smola. Emergenttts-eval: Evaluating tts models on complex prosodic, expressiveness, and linguistic challenges using model-as-a-judge. In Advances in Neural Information Processing Systems (NeurIPS) Datasets and Benchmarks Track, 2025.
Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro, and Sungroh Yoon. Bigvgan: A universal neural vocoder with large-scale training. In International Conference on Learning Representations (ICLR), 2023.
Qwen Team. Qwen2.5 technical report. arXiv preprint arXiv:2412.15115, 2024.
William Peebles and Saining Xie. Scalable diffusion models with transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023.
Hui Wang, Siqi Zheng, Yafeng Chen, Luyao Cheng, and Qian Chen. Cam++: A fast and efficient network for speaker verification using context-aware masking. In Interspeech, 2023.
Jonathan Ho and Tim Salimans. Classifier-free diffusion guidance. In NeurIPS Workshop on Deep Generative Models and Downstream Applications, 2021.
Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. In International Conference on Machine Learning (ICML), 2023.
Zhifu Gao, Shiliang Zhang, Ian McLoughlin, and Zhijie Yan. Paraformer: Fast and accurate parallel transformer for non-autoregressive end-to-end speech recognition. In Interspeech, 2022.
Luoyi Sun, Xuenan Xu, Mengyue Wu, and Weidi Xie. Auto-acd: A large-scale dataset for audio-language representation learning. In Proceedings of the 32nd ACM International Conference on Multimedia (MM), 2024.
Zhihao Du, Yuxuan Wang, Qian Chen, Xian Shi, Xiang Lv, Tianyu Zhao, Zhifu Gao, Yexin Yang, Changfeng Gao, Hui Wang, et al. Cosyvoice 2: Scalable streaming speech synthesis with large language models. arXiv preprint arXiv:2412.10117, 2024.
Kun Xie, Feiyu Shen, Junjie Li, Fenglong Xie, Xu Tang, and Yao Hu. Fireredtts-2: Towards long conversational speech generation for podcast and chatbot. arXiv preprint arXiv:2509.02020, 2025.
Shijia Liao, Yuxuan Wang, Songting Liu, Yifan Cheng, Ruoyi Zhang, Tianyu Li, Shidong Li, Yisheng Zheng, Xingwei Liu, Qingzheng Wang, et al. Fish audio s2 technical report. arXiv preprint arXiv:2603.08823, 2026.
Ziyue Jiang, Yi Ren, Ruiqi Li, Shengpeng Ji, Boyang Zhang, Zhenhui Ye, Chen Zhang, Jionghao Bai, Xiaoda Yang, Jialong Zuo, et al. Megatts 3: Sparse alignment enhanced latent diffusion transformer for zero-shot speech synthesis. arXiv preprint arXiv:2502.18924, 2025.
VoxCPM Team. Voxcpm2: Tokenizer-free tts for multilingual speech generation, creative voice design, and true-to-life cloning. GitHub, 2026.
Yitian Gong, Luozhijie Jin, Ruifan Deng, Dong Zhang, Xin Zhang, Qinyuan Cheng, Zhaoye Fei, Shimin Li, and Xipeng Qiu. Xy-tokenizer: Mitigating the semantic-acoustic conflict in low-bitrate speech codecs. arXiv preprint arXiv:2506.23325, 2025.
Shengpeng Ji, Ziyue Jiang, Wen Wang, Yifu Chen, Minghui Fang, Jialong Zuo, Qian Yang, Xize Cheng, Zehan Wang, Ruiqi Li, et al. Wavtokenizer: An efficient acoustic discrete codec tokenizer for audio language modeling. arXiv preprint arXiv:2408.16532, 2024.
Zhen Ye, Xinfa Zhu, Chi-Min Chan, Xinsheng Wang, Xu Tan, Jiahe Lei, Yi Peng, Haohe Liu, Yizhu Jin, Zheqi Dai, et al. Llasa: Scaling train-time and inference-time compute for llama-based speech synthesis. arXiv preprint arXiv:2502.04128, 2025b.
Wenxi Chen, Xinsheng Wang, Ruiqi Yan, Yushen Chen, Zhikang Niu, Ziyang Ma, Xiquan Li, Yuzhe Liang, Hanlin Wen, Shunshun Yin, et al. Sac: Neural speech codec with semantic-acoustic dual-stream quantization. arXiv preprint arXiv:2510.16841, 2025b.
Zhikang Niu, Shujie Hu, Jeongsoo Choi, Yushen Chen, Peining Chen, Pengcheng Zhu, Yunting Yang, Bowen Zhang, Jian Zhao, Chunhui Wang, et al. Semantic-vae: Semantic-alignment latent representation for better speech synthesis. arXiv preprint arXiv:2509.22167, 2025.
Canxiang Yan, Chunxiang Jin, Dawei Huang, Haibing Yu, Han Peng, Hui Zhan, Jie Gao, Jing Peng, Jingdong Chen, Jun Zhou, et al. Ming-uniaudio: Speech llm for joint understanding, generation and editing with unified representation. arXiv preprint arXiv:2511.05516, 2025.
Peiqi Yin, Jiangyun Zhu, Han Gao, Chenguang Zheng, Yongxiang Huang, Taichang Zhou, Ruirui Yang, Weizhi Liu, Weiqing Chen, Canlin Guo, et al. vllm-omni: Fully disaggregated serving for any-to-any multimodal models. arXiv preprint arXiv:2602.02204, 2026.