资料摘要：SonicWeave

快手 Kling、香港中文大学与清华大学提出的 2B 统一音频场景生成模型。SonicWeave 用同一组权重生成语音、歌声、音乐、音效及其混合场景；核心 CPE-MoE 不再逐 token 独立选专家，而让连续声学 chunk 共享路由，并用门控在“结构化文本 + diffusion phase”的全局 prior 与当前声学状态的局部 evidence 之间插值。

🔒 SonicWeave - Chunk-Routed Mixture-of-Experts for Unified Audio Scene Generation

核心要点

• 统一任务：一个 conditional flow-matching DiT 同时覆盖 TTS、TTA、TTM、歌声、对话以及带背景的复杂混合场景；输入被整理为 speech、vocal attributes、music、sound effects、ambience 等结构化字段。
• 路由粒度：CPE-MoE 将连续 4 个 audio latent frame 组成一个 chunk，对 chunk 做一次 Top-2/4-expert 路由；专家仍逐帧处理原始 hidden state，因此 chunk 是路由单元，不是表示压缩单元。
• prior–evidence 融合：全局 prior 来自 text hidden state 与 diffusion time，局部 evidence 来自当前 chunk 的 acoustic state；标量 conflict gate 决定专家 logits 向哪一侧移动。
• 模态解耦：text/time token 始终走 shared expert，只有 audio token 进入 sparse experts，避免条件通道随局部声学路由漂移。
• 主要结果：在匹配数据与 backbone 的对照中，SonicWeave 全面优于 1B Dense 与 2B token-routed Base-MoE；复杂场景 MOS-R 为 4.49，高于 Base-MoE 的 4.31 与 Dasheng AudioGen 的 3.25，同时 MOS-Q 与 Base-MoE 同为 4.57。
• 证据边界：论文只报告单次训练结果，缺少多随机种子；targeted ablation 比较了固定 gate 与 chunk size 8，却没有 prior-only、evidence-only 或 chunk size 1 的完整对照。因此现有实验支持“整个 CPE-MoE 设计有效”，尚不能严格分离 chunk routing、双信号融合和其他训练细节的独立因果贡献。

SonicWeave CPE-MoE 路由架构

详细笔记

论文摘要译文

文本条件的通用音频生成正从彼此孤立的语音、音乐和音效合成，迈向用单一模型把它们组合成可控且连贯的音频场景。统一设置尤其困难：异质成分会对共享 backbone 提出相互冲突的结构要求，而复杂混合场景又可能包含局部不同或相互重叠的内容，要求模型在同一片段内进行细粒度适配。

现有 audio MoE 主要在 domain level 路由，token-wise routing 则忽略了声学信号固有的局部连续性。为此，作者提出统一音频场景生成 flow-matching 模型 SonicWeave。其核心是采用 conflict-gated prior–evidence routing 的 chunk-routed MoE，即 CPE-MoE。它把结构化文本条件与 diffusion phase 编码为全局 prior，再与不断演化的声学状态所提供的局部 evidence 结合，对连续 acoustic chunk 进行路由。

当局部状态不可靠时，学习到的 conflict gate 更偏向 prior；当某一区域偏离全局场景语境时，它允许 local evidence 对路由施加更大影响。SonicWeave 用同一组权重支持语音、音乐、音效、歌声及其细粒度混合。在 TTS、TTA 与 TTM 基准上，它持续优于受控的 Dense 和 Base-MoE；复杂场景评估也显示出更好的组合质量，路由分析则呈现出随内容和 diffusion phase 变化的专家专精。结果表明，具备时间连续性的 prior–evidence routing 是统一音频生成的一种有效 conditional-computation 策略。

1. 问题与定位

统一音频模型面对两层冲突：

1. 跨 domain：语音依赖语言精确性，音乐依赖和声与节奏结构，环境音既包含平稳纹理也包含瞬态事件。
2. 单场景内部：语音、音乐、环境和音效可能交替或重叠，不同局部区域需要不同计算路径。

Clip-level routing 无法在同一场景内适配；frame/token-level routing 又可能在高度相关的相邻帧间频繁抖动，而且 diffusion 早期的局部 acoustic state 尚不可靠。SonicWeave 将 chunk routing 放在二者之间：共享局部计算选择，同时保留 frame-level 表示。

2. 结构化文本条件

自动标注管线先移除非声学细节，再提取以下字段：类型、语言、speech text/lyrics、speaker count、speaker/vocal attributes、music、sound effect、ambience 与 recording texture。字段以显式 tag 串行化，例如：

Summary. <type>speech</type> <lang>en</lang> <speech>...</speech> <music>...</music>

这种格式把容易纠缠的场景属性拆开，同时原样保留语言内容。当前 schema 明确支持最多两位说话人；所有 domain 共用一个冻结的 language encoder。

3. Joint audio–text DiT

每层 Transformer 接收 time、text 与 audio 三组 token：

$$\mathbf h=[\mathbf t_{\mathrm{time}}|\mathbf T_{1:L}|\mathbf A_{1:T}] \in\mathbb R^{(1+L+T)\times d}.$$

Stereo waveform 先由预训练 stereo VAE 编码为连续 latent；带噪 latent 与可选 masked reference 拼接并投影成 audio token。Text 与 audio 使用彼此独立的一维 RoPE 坐标，避免一种模态的序列长度改变另一种模态的位置编号。

Flow matching 本身不要求最终 audio/text hidden state 对齐，因此作者加入对称 batch 内对比损失：

$$\mathcal L_{\mathrm{CL}}=\frac12\left[\operatorname{CE}(\mathbf S,\mathbf y)+\operatorname{CE}(\mathbf S^\top,\mathbf y)\right].$$

4. CPE-MoE 逐步译解

4.1 Modality-decoupled dispatch

Context token（time + text）只经过 shared expert；audio token 同时使用 shared expert 与 sparse mixture。这样，决定“生成什么”的条件路径保持稳定，不会被每个局部 chunk 的专家选择反向扰动。

4.2 Chunk-level routing

将长度为 $T$ 的 audio state 分成 $N_c=\lceil T/C\rceil$ 个不重叠 chunk。第 $j$ 个 chunk 的有效帧均值为：

$$\mathbf e_j=\frac{\sum_{i\in\mathcal C_j}m_i\mathbf h_{\mathrm{aud},i}} {\max(1,\sum_{i\in\mathcal C_j}m_i)}.$$

Router 仅用 $\mathbf e_j$ 选择专家；被选专家仍对每个原始 frame state 运算。Padding-only chunk 不参与路由与负载统计。

4.3 Global prior 与 local evidence

Prior 汇总当前层的文本、diffusion phase 与 segment start：

$$\mathbf p=[\mathbf t_{\mathrm{time}}|\bar{\mathbf T}],\qquad \boldsymbol\ell^{\mathrm{prior}}=W_{\mathrm{prior}}(\mathbf p).$$

Evidence 来自联合 self-attention 之后的局部 acoustic state：

$$\boldsymbol\ell_j^{\mathrm{evid}}=W_{\mathrm{evid}}(\mathbf e_j).$$

两者都是输出维度为专家数 $N_e$ 的两层 SiLU MLP，并将输出 bias 初始化为零。

4.4 Conflict gate

Gate 同时观察 prior、evidence、逐坐标乘积与绝对差：

$$\boldsymbol\phi_j=\operatorname{LN}([\tilde{\mathbf p}|\mathbf e_j| \tilde{\mathbf p}\odot\mathbf e_j||\tilde{\mathbf p}-\mathbf e_j|]), \qquad g_j=\sigma(\operatorname{MLP}_g(\boldsymbol\phi_j)).$$