资料摘要：MegaTTS 3（S-DiT）

这篇工作早期以 S-DiT 称呼骨干，最新 arXiv v4 已将系统正式命名为 MegaTTS 3：它先从 forced alignment 中为每个音素只保留一个稀疏时间锚点，再让 LLaMA-style latent DiT 用 attention 补出细粒度对齐，以此折中显式时长的稳定性与隐式对齐的韵律自由度。

核心要点

• 稀疏对齐不是无对齐：训练数据先经 MFA/外部 aligner 得到音素时长，再在每个音素占据的多帧中随机保留一个 anchor，其余位置设为 mask。
• 锚点只提供粗位置，不把整条 hard alignment 强制注入模型；Transformer 仍通过 attention 学精细边界，且可通过移动 anchor 控制整句或局部音素时长。
• WaveVAE 把 16 kHz waveform 压到 25 帧/秒、32 维 continuous latent；生成器是 24 层、16 heads、1024 维的 LLaMA-style Transformer，论文版约 339M 参数。
• 训练使用 masked speech modeling + Rectified Flow；PeRFlow 把 25-step teacher 蒸馏为 8-step 学生，Multi-condition CFG 分别调 text 与 speaker guidance，还可用 text scale 控制口音强度。
• LibriSpeech test-clean 上，339M MegaTTS 3 报 WER 1.82、SIM-O 0.71；8-step accelerated 版 WER 1.86、SIM-O 0.70。LibriSpeech-PC 上为 WER 2.31，同一表中 E2 TTS 2.95、F5-TTS 2.42。
• 稀疏对齐消融的 WER 1.82 与 forced alignment 1.80 接近，但 CMOS 高 0.17；无对齐时 WER 降为 2.14，支持“粗锚点保稳定、soft attention 保韵律”的折中。

无音素级时长 TTS 文本到语音长度桥接 对比图

详细笔记

1. WaveVAE 与 masked latent flow

WaveVAE 以 waveform encoder 和 HiFi-GAN-style decoder 压缩/还原语音，损失包括频谱重建、小 KL penalty 和多种 GAN discriminator。每秒 25 个 continuous vectors 大幅缩短后续 DiT 的时间轴。

训练时把 latent 分为 prompt 区 $z_{\text{prompt}}$ 与 masked target 区 $z_{\text{target}}$，prompt 比例在 0.1–0.9 间随机。Rectified Flow 学习从 Gaussian $Z_0$ 到真实 latent $Z_1$ 的 drift：

$$\min_v\int_0^1\mathbb E\left[\left|(Z_1-Z_0)-v(Z_t,t)\right|^2\right]dt.$$

2. 稀疏锚点怎样构造

若音素 $[p_1,p_2,p_3]$ 的 hard duration 为 $[2,2,3]$，完整对齐是

$$a=[p_1,p_1,p_2,p_2,p_3,p_3,p_3].$$

稀疏化后每个音素随机只保留一个位置，例如

$$\tilde a=[M,p_1,p_2,M,M,M,p_3].$$