Think-While-Speaking(边说边想)
在流式语音输出的同时并行执行私有推理,并用播放感知调度把后续推理结果注入尚未说出的语音片段。
Think-While-Speaking 是一种实时语音对话中的推理—生成协同机制:模型不先把完整答案想完再开口,也不完全跳过推理,而是让推理轨迹与语音播放同时推进。
它通常包含两个并发过程:
- Formulation Brain(构思脑):生成私有推理轨迹,决定答案的逻辑、事实与约束。
- Articulation Brain(表达脑):根据“已经说出的内容 + 目前可用的推理结果”逐段生成语音。
关键不在于两个模块的名字,而在于调度:语音片段何时释放,取决于播放进度与推理完成度,而不是等推理全部结束。
- 深度推理与低延迟存在结构性冲突:显式 CoT 会增加解码时间;如果等推理结束再开口,首包延迟会显著上升。
- 口语对话允许“边说边修正”:人类也常在开口后继续组织思路,必要时补充、限定或纠正前文;模型可以借鉴这种模式。
- 避免“低延迟但浅层”的取舍:纯 Speak-First 可能回答得快但缺乏推理;纯 Think-First 可能更准确但迟钝。边说边想试图在两者之间取得可调平衡。
- 支持工具与异步任务:在等待工具结果时继续说话或播报进度,可以把“思考/执行”与“表达”解耦。
1. 双过程并发
Section titled “1. 双过程并发”Formulation Brain 与 Articulation Brain 可以是两个并发调用,也可以共享同一模型的不同推理路径。StepAudio 3 Realtime 的描述是:对同一音频模型发起两个并发调用,一个负责私有推理,一个负责语音片段生成。Mind-Paced Speaking 进一步明确:这两个 LLM 调用共享同一套参数,不是两个分别训练的模型;Formulation 每产生一个 think segment( tokens),Articulation 就以 <think> S_1..S_n </think> S_1..S_{n-1}^{res} 为前缀生成一个 response segment( tokens),形成 segment 级同步。
2. 播放感知调度(Playback-Aware Scheduling)
Section titled “2. 播放感知调度(Playback-Aware Scheduling)”系统按流式输出音频的播放进度释放下一段回复:
- 已播放的语音构成“已说出内容”;
- 已完成的推理构成“当前可用推理状态”;
- 下一段语音只能条件于这两者,不能依赖尚未生成的推理。
当推理追不上播放时,模型可以说得更慢、加停顿、先给部分答案;当推理提前完成时,后续片段可以使用完整推理状态。
2.1 Segment 级同步(Mind-Paced Speaking 的实现)
Section titled “2.1 Segment 级同步(Mind-Paced Speaking 的实现)”Playback-aware scheduling 回答“什么时候释放语音”,Mind-Paced Speaking 回答“两条流以什么粒度对齐”:
- Formulation 每产出一个 think segment ( tokens),Articulation 就生成一个 response segment ( tokens);
- Articulation 的前缀是
<think> S_1..S_n </think> S_1..S_{n-1}^{res},即“完整但仍在增长的 think block + 历史 response”; - Think-First 先等 80 个 think tokens 再开口;Speak-First 先出 100 个 response tokens,思考并行,首响应前额外 token 为 0;
- 训练用 think-incomplete SFT:随机截断 CoT 后接 groundtruth response 做 next-token prediction。
因此,“两流”不是一次性分叉后独立运行,而是每个 think segment 同步一次:思考的进度决定表达下一次能看到多少推理。StepAudio 3 Realtime 采用了同一机制,但没有披露自己的 segment 大小与前缀实现。
3. Speak-First 与 Think-First
Section titled “3. Speak-First 与 Think-First”- Speak-First(默认):不等初始推理前缀,立即开口;适合寒暄、简单问答和需要快速响应的场景。
- Think-First:先等一小段推理前缀再开口;适合复杂问题,用少量首包延迟换取更好的答案组织。
两者不是互斥架构,而是同一调度器的策略开关。
4. 最终续接(Final Continuation)
Section titled “4. 最终续接(Final Continuation)”如果回答开始时推理尚不完整,系统可以在推理完成后生成一个“最终续接”片段,补充或纠正前面基于不完整推理说出的内容。这要求模型能追踪自己已经说了什么,并避免自相矛盾。
5. Adaptive Thinking
Section titled “5. Adaptive Thinking”并非每个 turn 都值得显式推理。Adaptive Thinking 按 turn 判断是否需要推理:
- 对每个 turn 收集上下文、目标答案、原始推理轨迹与任务特征;
- 用 no-think 条件重答,再由 blind judge 比较“有推理/无推理”的答案质量;
- 被判定为“推理不必要”的 turn 进入替换候选;
- 按领域预算与细粒度 topic 分层,控制 no-think 比例。
这让系统把推理预算集中在真正受益的 turn 上,而不是对所有输入都跑长 CoT。
6. MTP 加速
Section titled “6. MTP 加速”私有推理仍然消耗解码步数。MTP(Multi-Token Prediction)用多个预测头草拟未来 token,再通过 strict verification 或 Medusa-style typical acceptance 接受草稿,从而减少目标模型的串行解码步数。StepAudio 3 Realtime 报告 MTP3/MTP5 的 wall-clock 加速约 1.76×–2.05×。
- Inner Monologue(Moshi, 2024):在每个时间步先产生与语音对齐的文本 token,再生成音频 token;文本是同步的隐式计划,不是完整答案的离线 CoT。
- Mind-Paced Speaking(2025 / v2 2026):StepFun 的双脑框架;两个共享参数的 LLM 调用,Formulation 生成 think segments,Articulation 以 growing think prefix + 历史 response 生成 response segments;、,Think-First / Speak-First,think-incomplete SFT。Step-Audio R1.1 的方法基础。
- Adaptive Thinking(StepAudio 3 Realtime, 2026):把“是否值得推理”变成可学习的 turn 级决策,减少不必要的显式推理。
- MTP 加速(2026):把多 token 预测用于私有推理流,降低串行解码成本;spoken response 仍保持 strict verification。
- 趋势:从“先想后说”与“边说边想”的二选一,走向可调度的推理预算:按 turn、按能力、按延迟目标动态分配思考量。
- “边说边想 = 不推理,直接说”:不是。它仍然执行私有推理,只是把推理与播放并行,并用可用推理状态条件化后续片段。
- “边说边想 = 把 CoT 念出来”:不是。推理轨迹通常是私有的;用户听到的是经过表达脑组织的语音,而不是完整思维链。
- “边说边想可以消除延迟”:不能。它降低的是“等待完整推理”的延迟;模型计算、音频编解码、网络与播放缓冲仍然存在。
- “Think-First 一定优于 Speak-First”:取决于任务。复杂推理可能受益于短前缀,简单寒暄则不应等待。
- “最终续接可以随意改口”:续接需要与已说内容保持一致;频繁自我纠正会损害可信度与交互体验。
- “MTP 加速等于推理质量不变”:草稿接受策略会改变生成分布;strict verification 与 typical acceptance 在质量/速度上有不同取舍。
- “双脑 = 两个模型”:不是。StepAudio 3 Realtime 的实现是对同一音频模型发起两个并发调用(Figure 7 标注 “Same Model”);Mind-Paced Speaking 也明确两个 LLM “share the same parameters”。参数不翻倍,但两条解码流使推理算力近似翻倍。也不要把它和全双工的用户/模型两条音频流混为一谈——前者在解码层,后者在音频输入层。
- “双脑 = 一个负责交互,一个负责推理和工具调用”:不是。双脑的分工是 推理 vs 表达:Formulation Brain 做私有 CoT、意图理解与规划,Articulation Brain 把推理转成语音回复段。交互(话轮、打断、backchannel)属于 Seamless Duplex;工具路由与执行属于 Voice Agent。双脑只是 Think-While-Speaking 的内部机制,不是整个系统的二分。
与相邻概念的区别
Section titled “与相邻概念的区别”| 概念 | 与 Think-While-Speaking 的关系 |
|---|---|
| 全双工语音交互(Full-Duplex) | 解决“何时听/说/让出话轮”;边说边想解决“推理如何与说并行” |
| 流式语音合成 | 只关注增量文本到增量语音;边说边想还涉及私有推理与调度 |
| Inner Monologue | 同步生成文本计划与语音;边说边想更强调推理轨迹与播放进度的调度 |
| Chain-of-Thought | 通常是离线、完整、可见的推理;边说边想的推理是私有且可增量的 |
| 多 Token 预测(MTP) | 加速私有推理的解码技术,可与边说边想组合 |
| Speculative Decoding | 用草稿模型加速目标模型;MTP 用模型自身的多预测头,属于其变体 |
- 资料摘要:StepAudio 3 Realtime — Formulation/Articulation 双脑、Speak-First、Adaptive Thinking 与 MTP
- 资料摘要:Moshi — Inner Monologue:文本计划与语音同步生成
- 全双工语音交互(Full-Duplex) — 话轮管理与双流上下文
- 流式语音合成 — 增量语音生成与延迟分解
- 多 Token 预测(MTP) — 私有推理的解码加速
- LALM(大型音频语言模型) — 实时语音推理的系统定位
- Wiki 目录