资料摘要：DiTAR

论文摘要更新 2026-08-14置信度 medium待阅读原始来源 ↗#语音合成#自回归#扩散模型#流匹配#连续表示

首个将扩散 Transformer 头附着在语言模型隐状态上做自回归语音生成的工作——LM 负责序列建模，每个位置用扩散去噪从隐状态恢复连续语音 patch。ICML 2025，字节跳动。 🔒 DiTAR - Diffusion Transformer Autoregressive Modeling for Speech Generation

中文全文译稿 · 精读笔记

核心要点

LM + 扩散头架构：因果语言模型处理序列依赖，扩散 Transformer（DiT）头从 LM 隐状态逐 patch 恢复连续语音表示
无离散 token：全程在连续潜空间操作，绕过离散 codec 的量化瓶颈
分治 patch 生成：LM 处理聚合的 patch 嵌入，DiT 头生成下一 patch 的连续表示细节
温度即噪声时间点：推理时通过控制逆扩散 ODE 中引入噪声的时间点来调节多样性与确定性平衡
SOTA 零样本语音生成：在鲁棒性、说话人相似度和自然度上达到领先水平；规模化分析验证优秀可扩展性

详细笔记

动机

语音生成面临困境：离散 token（RVQ）有量化损失，纯扩散模型缺乏自回归的流式/上下文能力。DiTAR 试图融合两者优势——用自回归 LM 捕捉序列结构，用扩散头生成高保真连续细节。

方法

DiTAR 的核心设计：

文本条件 → 因果 LM（逐 patch 自回归）
                ↓ h_i（LM 隐状态）
         扩散 Transformer 头（去噪）
                ↓
          连续语音 patch

与 GIVT/MAR（视觉）的差异：

GIVT 用 GMM 参数化连续分布（视觉，单步采样）
MAR 用 扩散过程建模 per-token 分布（视觉，多步去噪）
DiTAR 用 扩散 Transformer 从 LM 隐状态生成（语音，patch 级多步去噪）

与 CALM 的关系

DiTAR 是 CALM 范式（连续自回归语言建模）在语音领域的先驱。CALM/AudioCALM 将其扩展为：

通用音频（语音 + 音效 + 音乐），DiTAR 仅语音
AR-Flow 注意力（统一的块因果掩码），DiTAR 用分治策略
流匹配头（rectified flow），DiTAR 用扩散头
A-MoME（非对称专家混合），DiTAR 无

后续关于 previous-block CFG 的稳定性反思

资料摘要：低帧率高维 Token 的长时稳定 AR 音频生成探索以 DiTAR 式 ELD 为起点复现实验，观察到 previous block 同时具有两面性：它是局部连续性的必要锚点，却也会把 decoder 的推理误差送入后续 block；当它同时充当 CFG 的短时基方向时，高噪区的方差还会被外推放大。

后续的 MP-ELD 不删除 previous block，而是将其限定为 LC（local-continuity）路径，再增加完整历史的 SC 与文本条件的 AC 路径，通过 residual multi-path CFG 分阶段加入长时声学和语义增量。这不是对 DiTAR 结论的简单否定，而是对其“previous block + 两路 CFG”稳定性边界的进一步拆解。

意义

DiTAR 是连续值自回归从视觉跨入音频的关键一步。它首次验证了“LM 隐状态 → 扩散头 → 连续语音”这一技术路线的可行性，为后续的 CALM/AudioCALM 通用音频统一提供了方法论基础。

引用与数据

作者：Dongya Jia, Zhuo Chen, Jiawei Chen, Chenpeng Du, Jian Wu, Jian Cong, Xiaobin Zhuang, Chumin Li, Zhen Wei, Yuping Wang, Yuxuan Wang（字节跳动）
发表：ICML 2025
初版：arXiv 2502.03930（2025.02）
最新：v4（2025.12）