MoE（混合专家）

一种神经网络架构模式，将模型参数划分为多个“专家”子网络，每个输入 token 仅激活其中少数几个专家，从而以较低的推理计算量获得巨大的总参数量。

是什么

MoE 将 Transformer 的 FFN 层替换为多个并行的“专家”子网络 + 一个路由网络（router/gating network）。路由器对每个 token 选择激活 Top-K 个专家，各专家的输出加权求和。模型的总参数量（稀疏参数）远超每个 token 实际使用的参数量（激活参数）。

关键参数：

• 总参数（sparse params）：所有专家的参数之和
• 激活参数（active params）：每个 token 实际计算的参数
• 专家数 N、Top-K、共享专家数

为什么重要

1. 推理效率：激活参数远小于总参数，推理速度接近同规模密集模型，但能力达到更大密集模型的水平
2. 训练效率：稀疏激活减少每个 token 的计算量
3. 规模化路径：增大专家数可以线性扩展总参数量，同时保持推理成本基本恒定
4. 开源模型的游戏改变者：Mixtral 8x7B（13B active）超越 Llama 2 70B，开创了 MoE 在开源领域的广泛应用

工作原理

$$y=\sum_i \left[\operatorname{Softmax}!\left(\operatorname{TopK}(xW_g)\right)\right]_i\operatorname{Expert}_i(x)$$

1. 路由：输入 token 经线性层 W_g 得到每个专家的 logit，取 Top-K 做 softmax
2. 专家计算：被选中的 K 个专家分别处理该 token（通常是 SwiGLU FFN）
3. 组合输出：专家输出按路由权重加权求和
4. 负载均衡：辅助 loss 鼓励 token 均匀分配到各专家，避免“专家坍塌”

历史与演进

时间	里程碑	关键点
2017	Shazeer et al.	首次提出稀疏门控 MoE 层，137B 参数
2021	GShard / Switch Transformer	MoE 在大规模 Transformer 中的工程落地
2024.01	Mixtral 8x7B	首个达到前沿水平的开源 MoE，每层 8 专家 Top-2
2024.05	DeepSeek-V2	细粒度专家（160 路由 + 2 共享）+ MLA
2024.07	Qwen2 MoE	密集→MoE Upcycling，64 路由 + 8 共享
2026.06	A-MoME (AudioCALM)	非对称模态专家：全模态共享 Self-Attn + FFN，仅语音额外加残差 FFN——容量按需求分配而非按模态数量
2025.10	UniMoE-Audio	Dynamic-Capacity MoE + Top-P 路由：8 路由 + 2 共享 + 1 空专家，累计概率≥p 动态激活 1-6 个专家，空专家深层剪枝 TTS token
2026.08	SwanTale Unified MoE	任务路由器选 sample 级 instruct/zero-shot 共享专家，音频路由器依 latent frame 与 diffusion time 做 Top-P 动态容量分配
2026.08	SonicWeave CPE-MoE	连续 4 帧共享 Top-2 路由；用 conflict gate 在 text+phase prior 与 chunk acoustic evidence 的专家 logits 间插值

专家到底专精什么？

Mixtral 论文的路由分析给出了反直觉的结论：专家并非按领域（数学/生物/代码等）专精，而是按语法结构路由。不同领域文档的专家分布几乎相同，仅合成数据集（DM Mathematics）在首末层有略微差异。连续 token 高度重复选择相同专家（高层65% vs 随机46%）。

常见误解

• “专家会自然按领域专精” — 实际发现路由更基于语法而非语义
• “MoE 推理一定更快” — 稀疏激活减少计算量，但路由开销和更大的内存占用（需加载全部专家）是代价
• “专家越多越好” — 过多专家导致负载均衡困难，需要 Device-limited routing 等技术

与相邻概念的区别

• 密集模型（Dense）：所有参数对每个 token 都参与计算
• MoE vs 模型集成（Ensemble）：MoE 的路由是端到端学习的稀疏激活，集成是独立模型输出组合
• SMoE vs MoE：Sparse MoE 强调仅激活少数专家的稀疏特性

变体：动态容量 MoE

传统 MoE 使用 Top-K 固定激活 K 个专家，每个 token 计算量完全相同。Dynamic-Capacity MoE（UniMoE-Audio, 2025.10）引入两类创新：

Top-P 路由

• 替代 Top-K：按累计概率阈值 p 选择专家，而非固定 K 个
• I = argmin|I'| s.t. ΣP_i ≥ p（p=0.7）
• 动态激活 1-6 个专家：复杂 token（音乐谐波帧）激活多个，简单 token（静音帧）激活最少
• 效果：计算资源的弹性分配，同等总参数下推理更高效

空专家（Null Expert）

• 无参数专家，输出零张量——允许 token 完全跳过计算
• 深层（25-32 层）大量剪枝 TTS token：模型学到语音在表示层面已“足够好”
• 固定 Top-K 无法实现此行为

SwanTale 的两级路由

• Task Router：每个 sample 选一组任务共享专家，并在所有 sparse layer 和帧上复用，保留 instruct 的字幕遵循先验与 zero-shot 的参考说话人先验。
• Audio Router：对每个 latent frame 做 Top-P 路由，在说话人切换、局部音效和复杂背景处激活更多声学专家，平稳/近静音帧可把概率质量分给 null expert。
• Time-aware Budget：由 diffusion timestep 预测 $q(t)$，联动控制 Top-P 阈值、null 偏置与专家 capacity，不强迫每个去噪阶段使用同等计算。

SonicWeave 的 prior–evidence chunk routing

• Chunk 是路由单元：连续 4 个 latent frame 共享专家选择，但专家仍逐帧处理原始 hidden state；不同于 clip-level 路由，也不同于逐 token 独立路由。
• Global prior：结构化文本 hidden state 与 diffusion phase 共同给出全局 expert preference。
• Local evidence：当前 chunk 在 joint self-attention 后的 acoustic state 给出局部 expert preference。
• Conflict gate：在两组 expert logits 间插值；论文的匹配对照支持 CPE-MoE 整体有效，但缺少 $C=1$、prior-only/evidence-only 和多 seed 实验，尚不能分离各部件的独立贡献。详见 资料摘要：SonicWeave。

与 A-MoME 的区别

维度	Dynamic-Capacity MoE	A-MoME (AudioCALM)
路由方式	学习式 Top-P 动态路由	确定性按模态标签路由
专家粒度	8 路由 + 2 共享 + 1 空	1 共享 FFN + 1 语音残差 FFN
适用场景	任务粒度领域专精	模态粒度非对称容量
核心创新	动态容量分配	按需非对称加容

相关

• MLA（多头潜在注意力）
• GQA（分组查询注意力）
• 资料摘要：Mixtral
• 资料摘要：DeepSeek-V2
• 资料摘要：SwanTale — 任务级 + 帧级 + diffusion-time 三重动态路由
• 资料摘要：SonicWeave — text/phase prior 与 chunk acoustic evidence 的冲突门控路由
• Wiki 目录