多 Token 预测(MTP)
用一次前向为多个未来 token 生成候选或直接预测,以减少串行解码步数,或补全同一帧内的多层码本。
Multi-Token Prediction(MTP)在不同系统里有两种相关但不等价的用法:
- 解码加速型 MTP:在主模型之外增加若干预测头,一次前向草拟未来 个 token,再由目标模型验证/接受。它属于 speculative decoding 的一种实现,用“草稿—验证”换取更少的串行目标模型调用。
- 码本补全型 MTP:在语音/音频 tokenizer 的多码本场景中,主模型先预测第 0 层码本,MTP 模块在同一帧内补齐其余 residual codebook,避免把 16 层码本全部铺成长时间自回归序列。
两者共享“一次预测多个 token”的思想,但优化目标不同:前者降低时间轴上的串行步数,后者降低同一帧内的码本展开长度。
- 自回归解码是串行的:每生成一个 token 都要跑一次目标模型;长推理链、长语音和高帧率 tokenizer 都会放大这一成本。
- GPU 往往不是算力不足,而是并行度不足:MTP 用额外预测头把部分计算变成可并行的草稿生成,提高单步产出。
- 语音场景同时存在两种“多 token”:时间轴上有连续帧,帧内有多层 RVQ 码本;MTP 可以分别用于加速解码和补全码本。
- 与推理质量存在权衡:草稿接受策略、验证严格程度和重复惩罚都会改变生成分布;MTP 不是无损加速。
1. 解码加速型 MTP
Section titled “1. 解码加速型 MTP”设目标模型在时刻 的隐藏状态为 。MTP 头 预测未来第 个 token:
推理时:
- 目标模型先产生当前 token 与隐藏状态;
- MTP 头并行草拟未来 个 token;
- 目标模型对这些草稿做一次前向验证;
- 接受最长的、与目标分布一致的前缀,然后从第一个被拒绝的位置继续。
MTP3 / MTP5 分别表示 3 个和 5 个预测头,即最多一次草拟 3/5 个未来 token。StepAudio 3 Realtime 报告 MTP3 与 MTP5 的 wall-clock 加速约 1.76×–2.05×。
2. 严格验证与典型接受
Section titled “2. 严格验证与典型接受”- Strict verification:按目标模型的标准 speculative decoding 规则逐个验证草稿;只有与目标分布一致的草稿才被接受。质量最保守,但接受率受目标模型与草稿头差异限制。
- Medusa-style typical acceptance:用熵自适应的置信阈值接受草稿,允许生成分布发生受控变化;接受率更高,但可能改变输出分布。
StepAudio 3 Realtime 对私有推理使用 typical acceptance 与 repetition penalty 1.05,对 spoken response 保持 strict verification。这是一个值得注意的分层策略:内部思考可以更激进地加速,最终说出口的内容更保守。
3. 接受率与边际收益
Section titled “3. 接受率与边际收益”MTP 的净收益不只取决于“接受多少草稿”,还取决于:
- 草稿头数量与训练质量;
- 目标模型验证一次前向的成本;
- 被接受草稿的平均长度;
- 推理长度与重复惩罚;
- 拒绝后的回退成本。
StepAudio 3 Realtime 的 Table 7 显示,MTP5 的 typical acceptance 在 head1 为 80.6%、head2 55.7%、head3 37.6%、head4 24.9%、head5 16.4%——越靠后的草稿越难被接受,额外头部的边际收益递减。因此 MTP5 的接受 token 数更高(2.153 vs 1.801),但 wall-clock 加速不一定更高(1.72× vs 2.05×)。
4. 码本补全型 MTP
Section titled “4. 码本补全型 MTP”在多层 RVQ tokenizer 中,一帧音频对应 层码本。若全部按时间展开,序列长度是 。码本补全型 MTP 的做法是:
- 主自回归模型只预测第 0 层(或主码本);
- MTP 模块在同一帧内并行/顺序补齐第 1 到 层;
- 解码器把 层码本还原为波形。
Qwen3-TTS 的 12Hz 路径即由 LM backbone 预测第 0 码本,MTP 模块在同一帧生成残余码本,避免把 16 层都展开成长时间自回归序列。这与解码加速型 MTP 的“草稿—验证”机制不同,更接近帧内码本补全。
- Speculative decoding(2023):用小型草稿模型生成候选,再由目标模型并行验证;奠定了“草稿—验证”框架。
- Medusa(2024):在目标模型上增加多个解码头,用 tree attention 验证多个候选;把草稿生成从外部模型搬到目标模型自身。
- DeepSeek-V3(2024):把 MTP 作为训练目标,使用顺序预测头预测未来多个 token;训练时提供更密集的监督,推理时可复用为 speculative decoding。
- Qwen3-TTS(2026.01):12Hz 多码本路径用 MTP 补全帧内 residual codebook,降低序列展开长度。
- StepAudio 3 Realtime(2026):把 MTP3/MTP5 用于私有推理流加速,并对 spoken response 保持 strict verification;同时用 Adaptive Thinking 决定是否值得推理。
- “MTP 一定加速”:不一定。草稿头、验证成本、接受率与回退成本都会影响净收益;接受 token 数多不等于 wall-clock 快。
- “MTP 是无损的”:strict verification 可以保持目标分布,但 typical acceptance 会改变生成分布;两者在质量/速度上有取舍。
- “MTP 只用于文本”:语音/音频中既可用于时间轴解码加速,也可用于帧内多码本补全,两种用法要分开讨论。
- “MTP 等于多任务学习”:MTP 的多个头预测的是未来 token,不是不同任务;它可以作为训练目标,也可以只作为推理加速模块。
- “草稿头越多越好”:边际接受率递减,且更多头增加训练与验证复杂度;MTP5 不一定优于 MTP3。
- “MTP 可以替代 KV cache / 量化 / 批处理”:它优化的是串行解码步数,与其他推理优化正交,不能替代显存与吞吐优化。
与相邻概念的区别
Section titled “与相邻概念的区别”| 概念 | 与 MTP 的关系 |
|---|---|
| Speculative decoding | 上位框架;MTP 是一种用模型自身多头生成草稿的实现 |
| Medusa | 多解码头 + tree attention 的 speculative decoding 变体;MTP 常借用其接受策略 |
| 自回归解码与采样 | 描述基础逐 token 解码;MTP 在其上增加多 token 草稿与验证 |
| 码本补全型 MTP | 在同一帧内补齐多层 RVQ 码本,优化的是序列结构而非时间轴解码 |
| Delay pattern | 另一种处理多码本顺序的机制;把不同码本沿时间轴错开,而非帧内补全 |
| Think-While-Speaking(边说边想) | 用 MTP 加速私有推理,使推理与语音播放更容易并行 |
- 资料摘要:StepAudio 3 Realtime — MTP3/MTP5、Medusa-style typical acceptance 与 strict verification 的分层使用
- 资料摘要:Qwen3-TTS — 12Hz 多码本路径的帧内 MTP 补全
- 资料摘要:Luna-TTS — 对 AR/MTP 码本顺序的替代方案:full-grid masked diffusion
- 自回归解码与采样 — 逐 token 解码、temperature、top-k/top-p 基础
- Think-While-Speaking(边说边想) — 私有推理与语音播放的并行调度
- 神经音频编解码(RVQ) — 多码本 tokenizer 的结构背景
- Wiki 目录