资料摘要:Mind-Paced Speaking
阶跃星辰的实时语音推理框架:两个共享参数的 LLM 角色(论文称 dual-LLM architecture)分别扮演 Formulation Brain(持续生成私有 CoT)与 Articulation Brain(按 think segment 增量生成语音回复)。每产生一个 think segment( tokens),就把它注入 Articulation 的 growing prefix,由 Articulation 生成 100 个 response tokens(Step-Audio 2 的 ta4 格式:20 text + 80 speech);Think-incomplete SFT 让 Articulation 学会在推理未完成时开口。Step-Audio 2 上 Spoken-MQA 93.9(Think-First)/ 92.8(Speak-First),首响应前额外 token 为 80 / 0,TBS 为 762;MPS 是 Step-Audio R1.1 与 StepAudio 3 Realtime 双脑设计的公开方法来源。
- 双脑 = 共享参数的两个 LLM 角色:Formulation Brain 只做 CoT,Articulation Brain 只做回复;论文明确两者 “share the same parameters”,不是两个独立训练的模型。StepAudio 3 Realtime 把它描述为 “two concurrent calls to the same audio model”。
- 分段配速:CoT 被切成 个 think segment;每产生一个 ,就把它拼进 Articulation 的前缀,生成对应的 。语音由思考进度“配速”,不是等完整 CoT。
- 前缀构造:Articulation 的输入是
<think> S_1^{cot} ... S_n^{cot} </think> S_1^{res} ... S_{n-1}^{res};它始终是一个经典 TBS 序列——完整 think block + 历史 response,只是 think block 还在增长。 - Think-incomplete SFT:训练时随机保留 CoT 前 步、删除后续段落,包上
<think>/</think>,接 groundtruth response 做 next-token prediction;让 Articulation 适应“推理未完成”的输入。 - 两种节奏:Think-First 先等 80 个 think tokens 再开口;Speak-First 先出 100 个 response tokens,同时并行思考,首响应前额外 token 为 0。
- 关键结果:Spoken-MQA 93.9 / 92.8 / 93.0(Think-First / Speak-First / TBS);首响应前额外 token 80 / 0 / 762。URO-Bench 中文 89.1 / 87.6 / 87.8(Basic),英文 87.0 / 85.2 / 86.1(Basic)。
- 边界:实验 backbone 是 Step-Audio 2;图 1 的 97.6% 是 Step-Audio R1.1 系统在 Big Bench Audio 上的成绩,不等同于论文受控实验。Speak-First 在长算术与英文 Pro 上明显掉点。
1. 问题:TBS 的“想完再说”延迟
Section titled “1. 问题:TBS 的“想完再说”延迟”Think-Before-Speaking(TBS)先完整生成 CoT,再生成回复。设用户语音为 、可选文本指令为 ,CoT 为 ,回复为 :
问题在于:完整 CoT 的串行生成会推迟首响应;在 Spoken-MQA 上,TBS 在首响应前平均生成 762 个额外 token。另一条路线是交错式 think-while-speaking(如 Mini-Omni-Reasoner、STITCH),让同一个 LLM 在 think 与 response 模式之间反复切换;论文认为这会打断原本连续的思考与回复,损害语义连贯性。
MPS 的主张是:把“想”和“说”拆成两个 LLM 角色(论文称 dual-LLM architecture),但让每个角色本身仍是经典 TBS LLM。Formulation Brain 只做 TBS 的思考过程,Articulation Brain 只做 TBS 的回复过程;二者通过 growing think prefix 耦合,而不是在一条 token 流里交替。
2. 双脑架构
Section titled “2. 双脑架构”Formulation Brain:与 TBS 的思考过程相同,接收 与 ,生成逐步 CoT ,用 <think> 和 </think> 标记起止。CoT 被切成 段:
Articulation Brain:接收与 Formulation 相同的用户输入。每当拿到当前 think segment ,就把它与历史 think segments 拼接,外层包 <think>/</think>,再追加历史 response segments ,然后继续生成后续回复。形式化为:
生成出的 response segment 送入流式 TTS,实时合成语音。
关键实现细节:
- 参数共享:论文称其为 “dual-LLM architecture”,但紧接着说明两个 LLM “share the same parameters”。因此双脑是同一套权重下的两个角色/实例,不是两个分别训练的模型。
- 前缀是重建/增长的:Articulation 每个 segment 都以“当前完整 think 前缀 + 历史 response”为条件;论文没有说明底层是否复用 KV cache,也没有说明是持久 decoder 还是每段重新调用。可以确定的是 segment 级同步:一个 think segment 对应一个 response segment。
- 不是交错 token:Articulation 看到的始终是一个完整 think block 后接 response 的结构;它不需要在 think/response 模式之间切换,这是 MPS 与 Mini-Omni-Reasoner 的核心区别。
3. 分段配速:两流何时分开、如何交互
Section titled “3. 分段配速:两流何时分开、如何交互”这一段直接回答 StepAudio 3 Realtime 没写细的部分。
分流时机:在 MPS 内部,不是 turn 级、也不是 320 ms 音频块级,而是 think segment 级。Formulation 每产出一个 think segment,Articulation 就以更新后的前缀生成一个 response segment。所谓“两流”不是一次性分叉后独立奔跑,而是每个 segment 同步一次:Formulation 的进度决定 Articulation 下一次能看到多少推理。
注意层级:StepAudio 3 Realtime 在双脑之上还有 Adaptive Thinking 的 turn 级路由,先决定这个 turn 是否走显式推理;只有走 deliberate route 时才进入这里的 segment 循环。MPS 本身没有这个 turn 级路由,默认对每个回复运行双脑。两者不是矛盾,而是“是否启用双脑”和“双脑内部如何同步”两个不同层级。
交互接口:Formulation → Articulation 传递的是 ;Articulation 内部的前缀是:
<think> S_1^cot S_2^cot ... S_n^cot </think> S_1^res S_2^res ... S_{n-1}^resArticulation 在这个前缀后继续生成 。因此:
- 历史 think 影响当前回复的“内容依据”;
- 历史 response 影响当前回复的“已说内容”,避免重复或自相矛盾;
- 当前 think segment 是增量信息,决定本段回复能推进到什么程度。
两种初始偏移:
- Think-First:Formulation 先产生 个 think tokens,Articulation 再生成 个 response tokens 并合成语音;之后进入分段循环。首响应前的额外 token 是 80。
- Speak-First:Articulation 先直接生成 个 response tokens,同时 Formulation 开始思考;Formulation 在首段语音播放完之前完成 个 think tokens。首响应前的额外 token 是 0。
论文附录 Figure 4 给出了 Speak-First 的完整例子(Robin 头发长度问题):第一段 Articulation 在没有任何 think 内容时先说出 “Robin’s hair started at 16 inches. He cut off 11”;随后 Formulation 产出第一段推理,Articulation 接着说出 “so 16 minus 11 is 5 inches”;再下一段 think 到达后,Articulation 继续算到 17。这个例子直观展示了“说话被思考配速”的过程。
4. Think-incomplete SFT
Section titled “4. Think-incomplete SFT”Articulation 在推理未完成时开口,必须学会“只看半截 CoT 也能合理继续说”。MPS 用 think-incomplete SFT 训练这一点:
- 取一条带完整 CoT 的训练样本;
- 随机保留 CoT 的前 步,删除后续内容;
- 用
<think>/</think>包住剩余的不完整 CoT; - 拼接 groundtruth response;
- 用标准 next-token prediction 训练。
论文强调,MPS 不改变单个 LLM 的输入输出模式,因此不需要为双脑架构重新预训练 LLM;需要的只是让 Articulation 适应“不完整 think 前缀”的 SFT。
推理阶段使用固定 token 数分段:
- :每个 think segment 80 个 think tokens;
- :每个 response segment 100 个 response tokens;
- Step-Audio 2 的 ta4 输出格式:1 个 text token + 4 个 speech token,因此 100 个 response tokens = 20 个 text tokens + 80 个 speech tokens。
论文还报告了两个负结果:尝试用 SFT 阶段的“自然步骤”分段,因为每步 CoT 长度可变,会引入不可控延迟;尝试在 SFT 阶段就用固定 token 数切 CoT,也没有带来性能提升。最终采用“SFT 按步骤截断、推理按固定 token 数分段”的组合。
这里有一个值得注意的分布错配:训练时的“不完整”是段落级截断,推理时的“不完整”是固定 80-token 截断。论文没有量化这种错配的影响,只说固定 token SFT 没有收益。
5. Think-First vs Speak-First
Section titled “5. Think-First vs Speak-First”| 维度 | Think-First | Speak-First |
|---|---|---|
| 首响应前 | 先等 80 个 think tokens | 立即生成 100 个 response tokens |
| 思考与说话 | 先想一个前缀,再进入分段循环 | 说话与思考并行 |
| 首响应前额外 token | 80 | 0 |
| 延迟口径 | + 流式 TTS buffer | 仅流式 TTS buffer |
| 质量倾向 | 更高,接近 TBS | 略低,首段没有推理依据 |
延迟口径的限定:论文说的“zero latency”是首响应前额外 token = 0,不是端到端零延迟。TTS buffer、模型计算、网络与播放缓冲仍然存在;论文没有给出 wall-clock 毫秒数。
质量代价:
- Spoken-MQA 总体:Think-First 93.9,Speak-First 92.8,TBS 93.0;
- 但长算术子项:Think-First 84.9,Speak-First 71.7,TBS 88.4;
- URO-Bench 英文 Pro:Think-First 85.0,Speak-First 74.8,TBS 83.3。
论文的解释是:推理类任务的 early CoT 往往只是在复述问题,所以首段没有 think 也能撑住;算术类任务需要尽早拿到关键数字与运算,首段无思考的代价更大。这个解释与长算术的掉点一致,但也说明 Speak-First 的“接近 TBS”并不适用于所有任务。
6. 数据构造
Section titled “6. 数据构造”- 种子:真实用户查询;
- 转写/增强:GPT-4o 对查询做转写与扩充;
- CoT 蒸馏:用扩充后的 query 提示 DeepSeek-R1,生成带原生 CoT 的对话数据。
DeepSeek-R1 是文本中心模型,原始数据有两类问题:
- 文本风格不兼容语音:Markdown、emoji、多级列表无法自然朗读;
- CoT 是完整的回合式推理:不适合训练“从半截思考开始回复”。
处理管线:
- Compatibility Processing:丢弃含 Markdown 或多项目列表、无法自然朗读的样本;含 emoji 的样本用 Qwen-72B-Instruct 去除 emoji,保留纯文本;
- CoT Pruning:随机删除一些推理段落,但尽量保持整体逻辑;不删段落内的单句,也不用 LLM 重写剩余内容,以维持原始 DeepSeek CoT 的风格分布。
7. 实验结果
Section titled “7. 实验结果”Spoken-MQA(Table 1,accuracy %):
| 方法 | Arithmetic Short | Arithmetic Long | Arithmetic Avg | Reasoning Single | Reasoning Multi | Reasoning Avg | Overall |
|---|---|---|---|---|---|---|---|
| Step-Audio 2 | 89.0 | 52.6 | 65.9 | 95.6 | 90.4 | 91.9 | 88.8 |
| MPS-wo/thk | 71.0 | 34.1 | 47.6 | 88.0 | 67.8 | 73.8 | 70.6 |
| MPS-tbs | 90.0 | 88.4 | 89.0 | 94.4 | 93.2 | 93.6 | 93.0 |
| MPS-thkfirst | 89.0 | 84.9 | 86.4 | 95.6 | 94.6 | 94.9 | 93.9 |
| MPS-spkfirst | 87.0 | 71.7 | 77.3 | 96.0 | 94.5 | 94.9 | 92.8 |
首响应前额外 token(Table 2):
| 方法 | Accuracy | Extra Tokens |
|---|---|---|
| Mini-Omni-Reasoner | 68.6% | 8 |
| MPS-tbs | 93.0% | 762 |
| MPS-thkfirst | 93.9% | 80 |
| MPS-spkfirst | 92.8% | 0 |
URO-Bench(Table 3,GPT-score / accuracy):
| 方法 | 中文 Basic Avg | 中文 Pro Avg | 英文 Basic Avg | 英文 Pro Avg |
|---|---|---|---|---|
| MPS-wo/thk | 83.4 | 74.4 | 77.4 | 65.1 |
| MPS-tbs | 87.8 | 79.0 | 86.1 | 83.3 |
| MPS-thkfirst | 89.1 | 80.5 | 87.0 | 85.0 |
| MPS-spkfirst | 87.6 | 79.9 | 85.2 | 74.8 |
系统级结果(Figure 1):Step-Audio R1.1 Realtime(MPS based)在 Artificial Analysis Big Bench Audio · Speech Reasoning 上为 97.6%,高于 Grok Voice Think Fast 1.0(97.1%)、Gemini 3.1 Flash Live High(96.6%)、GPT-Realtime-2 High(96.6%)、Grok Voice Agent(93.3%)等。注意这是产品系统的排行榜成绩,不是论文受控实验的直接对照。
8. 与 StepAudio 3 Realtime 的接口
Section titled “8. 与 StepAudio 3 Realtime 的接口”MPS 是 StepAudio 3 Realtime 双脑设计的公开方法来源。它把 StepAudio 报告里省略的实现细节补到了以下程度:
| 问题 | MPS 的回答 | 对 StepAudio 的适用性 |
|---|---|---|
| 两个 Brain 是两个模型吗 | 不是;两个 LLM 角色共享同一套参数 | 与 StepAudio “two concurrent calls to the same audio model” 一致 |
| 什么时候分出两流 | 每个 think segment 同步一次;MPS 内部不是 turn 级或音频块级(StepAudio 另有 Adaptive Thinking 的 turn 级门控) | 机制一致;StepAudio 未披露 segment 大小 |
| 两流如何交互 | Formulation 注入 ;Articulation 以 <think> S_1..S_n </think> S_1..S_{n-1}^{res} 为前缀生成 |
机制一致;StepAudio 未披露前缀构造 |
| think segment 多大 | tokens | StepAudio 未披露,不能直接套用 |
| response segment 多大 | tokens(20 text + 80 speech) | StepAudio 未披露,不能直接套用 |
| 如何训练 Articulation | Think-incomplete SFT:随机截断 CoT 后做 next-token prediction | StepAudio 未披露训练细节 |
| 如何控制首响应延迟 | Think-First(80 tokens)或 Speak-First(0 tokens) | StepAudio 明确有 Speak-First 默认与 Think-First 选项 |
不能直接外推的部分:
- MPS 的 backbone 是 Step-Audio 2;StepAudio 3 Realtime 用 Step 3.7 Flash MoE(约 196B 总参 / 11B 激活),音频前端是 Qwen3-Omni AuT,且是全双工 320 ms 块输入。两者的模型规模、音频表示和训练数据不同。
- MPS 的 segment 是 token 级;StepAudio 的 320 ms 是音频块级。两者不是同一层的时间单位,不能把 80/100 tokens 直接换算成 320 ms。
- MPS 的“dual-LLM”在论文里是架构描述;StepAudio 的“two concurrent calls”是产品报告描述。底层 serving 是否共享 KV cache、是否 batch、是否每段重算前缀,两篇都没有完整说明。
9. 批判性判断
Section titled “9. 批判性判断”- “dual-LLM” 但共享参数:双脑的收益来自角色分离与增量前缀,而不是两个专长模型。论文没有做“共享参数 vs 独立参数”的消融,因此不能把收益归因于“两个模型”的多样性。
- MPS-wo/thk 与 Step-Audio 2 的差距不能全部归因于 thinking:前者是同一 backbone 去掉 thinking 的对照,后者是作者复现的完整系统;两者训练配方可能不同,88.8 与 70.6 的差距需要谨慎解读。
- Zero-latency 是 token 级指标:首响应前额外 token = 0 不等于端到端零延迟;论文没有报告 TTS buffer、网络、端到端毫秒数。与 Moshi 的毫秒级延迟口径不能直接比较。
- 分段大小没有消融:、 是核心的延迟—质量旋钮,但论文没有系统比较不同 segment 大小;只报告了“自然步骤分段”和“固定 token SFT”两个负结果。
- Speak-First 的掉点被低估:总体 92.8 接近 TBS 93.0,但长算术 71.7 vs 88.4、英文 Pro 74.8 vs 83.3,说明“接近 TBS”只在部分任务成立。论文用“slightly worse”概括,掩盖了任务异质性。
- 训练/推理截断方式不一致:SFT 按段落截断,推理按固定 80-token 截断;论文没有量化这种分布错配,也没有给出按 token 截断的训练消融(只说固定 token SFT 没有提升)。
- 数据与评测偏差:CoT 来自 DeepSeek-R1(文本中心),查询增强用 GPT-4o;URO-Bench 用 GPT-4o-mini 打分,没有人类评测。语音场景的推理风格、评分偏好都可能被文本模型带偏。
- Figure 1 不是受控实验:Step-Audio R1.1 是完整产品系统,可能包含 MPS 之外的数据与训练;把它与 GPT-Realtime-2、Gemini 3.1 Flash Live 对比,不能单独证明 MPS 的贡献。
- 可复现性:论文给出代码与模型链接(
github.com/stepfun-ai/Step-Audio-R1、huggingface.co/stepfun-ai/Step-Audio-R1.1),但正文没有给完整训练配方、数据规模与超参;14 页 preprint 的细节仍不足以独立复现。
| 项目 | 论文报告 |
|---|---|
| 标题 | Mind-Paced Speaking: A Dual-Brain Approach to Real-Time Reasoning in Spoken Language Models |
| 作者/机构 | Donghang Wu、Haoyang Zhang 等;StepFun、NTU、UNSW |
| 版本 | arXiv:2510.09592v2,2026-05-10;14 页 |
| Backbone | Step-Audio 2 |
| 双脑参数 | 两个 LLM 角色共享同一套参数 |
| think segment | tokens |
| response segment | tokens(ta4:20 text + 80 speech) |
| Think-First 额外 token | 80 |
| Speak-First 额外 token | 0 |
| TBS 额外 token | 762 |
| Spoken-MQA | 93.9 / 92.8 / 93.0(Think-First / Speak-First / TBS) |
| URO-Bench 中文 | 89.1 / 87.6 / 87.8 Basic;80.5 / 79.9 / 79.0 Pro(Think-First / Speak-First / TBS) |
| URO-Bench 英文 | 87.0 / 85.2 / 86.1 Basic;85.0 / 74.8 / 83.3 Pro(Think-First / Speak-First / TBS) |
| Big Bench Audio(Step-Audio R1.1) | 97.6% |
| 代码/模型 | Step-Audio-R1、Step-Audio-R1.1 |
- 资料摘要:StepAudio 3 Realtime — MPS 是其双脑设计的公开方法来源;本页补足了 StepAudio 未披露的 segment 级实现
- Think-While-Speaking(边说边想) — 双脑并行的概念页;MPS 是该方法的主要实现
- 资料摘要:Moshi — Inner Monologue 与双音频流;与 MPS 的双脑是不同路线
- 资料摘要:Qwen2.5-Omni — Thinker–Talker 双模块;可与 MPS 的共享参数双调用对照
- 全双工语音交互(Full-Duplex) — 话轮管理、打断与双流上下文
- 多 Token 预测(MTP) — StepAudio 的推理加速;MPS 论文未描述 MTP,StepAudio 另行加入 MTP3/MTP5
- Wiki 目录