跳转到内容

输入关键词开始搜索

    资料摘要:Mind-Paced Speaking

    论文摘要更新 2026-10-22置信度 high待阅读原始来源 ↗#语音对话#推理#流式#双脑#论文

    阶跃星辰的实时语音推理框架:两个共享参数的 LLM 角色(论文称 dual-LLM architecture)分别扮演 Formulation Brain(持续生成私有 CoT)与 Articulation Brain(按 think segment 增量生成语音回复)。每产生一个 think segment(Tc=80T_c=80 tokens),就把它注入 Articulation 的 growing prefix,由 Articulation 生成 100 个 response tokens(Step-Audio 2 的 ta4 格式:20 text + 80 speech);Think-incomplete SFT 让 Articulation 学会在推理未完成时开口。Step-Audio 2 上 Spoken-MQA 93.9(Think-First)/ 92.8(Speak-First),首响应前额外 token 为 80 / 0,TBS 为 762;MPS 是 Step-Audio R1.1 与 StepAudio 3 Realtime 双脑设计的公开方法来源。

    • 双脑 = 共享参数的两个 LLM 角色:Formulation Brain 只做 CoT,Articulation Brain 只做回复;论文明确两者 “share the same parameters”,不是两个独立训练的模型。StepAudio 3 Realtime 把它描述为 “two concurrent calls to the same audio model”。
    • 分段配速:CoT 被切成 NN 个 think segment;每产生一个 SncotS_n^{cot},就把它拼进 Articulation 的前缀,生成对应的 SnresS_n^{res}。语音由思考进度“配速”,不是等完整 CoT。
    • 前缀构造:Articulation 的输入是 <think> S_1^{cot} ... S_n^{cot} </think> S_1^{res} ... S_{n-1}^{res};它始终是一个经典 TBS 序列——完整 think block + 历史 response,只是 think block 还在增长。
    • Think-incomplete SFT:训练时随机保留 CoT 前 LL 步、删除后续段落,包上 <think>/</think>,接 groundtruth response 做 next-token prediction;让 Articulation 适应“推理未完成”的输入。
    • 两种节奏:Think-First 先等 80 个 think tokens 再开口;Speak-First 先出 100 个 response tokens,同时并行思考,首响应前额外 token 为 0。
    • 关键结果:Spoken-MQA 93.9 / 92.8 / 93.0(Think-First / Speak-First / TBS);首响应前额外 token 80 / 0 / 762。URO-Bench 中文 89.1 / 87.6 / 87.8(Basic),英文 87.0 / 85.2 / 86.1(Basic)。
    • 边界:实验 backbone 是 Step-Audio 2;图 1 的 97.6% 是 Step-Audio R1.1 系统在 Big Bench Audio 上的成绩,不等同于论文受控实验。Speak-First 在长算术与英文 Pro 上明显掉点。

    1. 问题:TBS 的“想完再说”延迟

    Section titled “1. 问题:TBS 的“想完再说”延迟”

    Think-Before-Speaking(TBS)先完整生成 CoT,再生成回复。设用户语音为 XspcX^{spc}、可选文本指令为 XtxtX^{txt},CoT 为 Ycot∈RTcY^{cot}\in\mathbb{R}^{T_c},回复为 Yres∈RTrY^{res}\in\mathbb{R}^{T_r}:

    Pθl(Ycot∣⟨Xspc,Xtxt⟩)=∏t=1TcPθl(Ytcot∣⟨Y1:t−1cot,Xspc,Xtxt⟩)P_{\theta_l}(Y^{cot}\mid \langle X^{spc}, X^{txt}\rangle) = \prod_{t=1}^{T_c} P_{\theta_l}(Y_t^{cot}\mid \langle Y_{1:t-1}^{cot}, X^{spc}, X^{txt}\rangle)

    Pθl(Yres∣⟨Ycot,Xspc,Xtxt⟩)=∏t=1TrPθl(Ytres∣⟨Y1:t−1res,Y1:Tccot,Xspc,Xtxt⟩)P_{\theta_l}(Y^{res}\mid \langle Y^{cot}, X^{spc}, X^{txt}\rangle) = \prod_{t=1}^{T_r} P_{\theta_l}(Y_t^{res}\mid \langle Y_{1:t-1}^{res}, Y_{1:T_c}^{cot}, X^{spc}, X^{txt}\rangle)

    问题在于:完整 CoT 的串行生成会推迟首响应;在 Spoken-MQA 上,TBS 在首响应前平均生成 762 个额外 token。另一条路线是交错式 think-while-speaking(如 Mini-Omni-Reasoner、STITCH),让同一个 LLM 在 think 与 response 模式之间反复切换;论文认为这会打断原本连续的思考与回复,损害语义连贯性。

    MPS 的主张是:把“想”和“说”拆成两个 LLM 角色(论文称 dual-LLM architecture),但让每个角色本身仍是经典 TBS LLM。Formulation Brain 只做 TBS 的思考过程,Articulation Brain 只做 TBS 的回复过程;二者通过 growing think prefix 耦合,而不是在一条 token 流里交替。

    Formulation Brain:与 TBS 的思考过程相同,接收 XspcX^{spc} 与 XtxtX^{txt},生成逐步 CoT YcotY^{cot},用 <think> 和 </think> 标记起止。CoT 被切成 NN 段:

    [S1cot,S2cot,…,SNcot][S_1^{cot}, S_2^{cot}, \ldots, S_N^{cot}]

    Articulation Brain:接收与 Formulation 相同的用户输入。每当拿到当前 think segment SncotS_n^{cot},就把它与历史 think segments 拼接,外层包 <think>/</think>,再追加历史 response segments [S1res,…,Sn−1res][S_1^{res}, \ldots, S_{n-1}^{res}],然后继续生成后续回复。形式化为:

    Pθl(Sres∣⟨Scot,Xspc,Xtxt⟩)=∏n=1NPθl(Snres∣⟨S1:n−1res,S1:ncot,Xspc,Xtxt⟩)P_{\theta_l}(S^{res}\mid \langle S^{cot}, X^{spc}, X^{txt}\rangle) = \prod_{n=1}^{N} P_{\theta_l}\bigl(S_n^{res}\mid \langle S_{1:n-1}^{res}, S_{1:n}^{cot}, X^{spc}, X^{txt}\rangle\bigr)

    生成出的 response segment 送入流式 TTS,实时合成语音。

    关键实现细节:

    • 参数共享:论文称其为 “dual-LLM architecture”,但紧接着说明两个 LLM “share the same parameters”。因此双脑是同一套权重下的两个角色/实例,不是两个分别训练的模型。
    • 前缀是重建/增长的:Articulation 每个 segment 都以“当前完整 think 前缀 + 历史 response”为条件;论文没有说明底层是否复用 KV cache,也没有说明是持久 decoder 还是每段重新调用。可以确定的是 segment 级同步:一个 think segment 对应一个 response segment。
    • 不是交错 token:Articulation 看到的始终是一个完整 think block 后接 response 的结构;它不需要在 think/response 模式之间切换,这是 MPS 与 Mini-Omni-Reasoner 的核心区别。

    3. 分段配速:两流何时分开、如何交互

    Section titled “3. 分段配速:两流何时分开、如何交互”

    这一段直接回答 StepAudio 3 Realtime 没写细的部分。

    分流时机:在 MPS 内部,不是 turn 级、也不是 320 ms 音频块级,而是 think segment 级。Formulation 每产出一个 think segment,Articulation 就以更新后的前缀生成一个 response segment。所谓“两流”不是一次性分叉后独立奔跑,而是每个 segment 同步一次:Formulation 的进度决定 Articulation 下一次能看到多少推理。

    注意层级:StepAudio 3 Realtime 在双脑之上还有 Adaptive Thinking 的 turn 级路由,先决定这个 turn 是否走显式推理;只有走 deliberate route 时才进入这里的 segment 循环。MPS 本身没有这个 turn 级路由,默认对每个回复运行双脑。两者不是矛盾,而是“是否启用双脑”和“双脑内部如何同步”两个不同层级。

    交互接口:Formulation → Articulation 传递的是 SncotS_n^{cot};Articulation 内部的前缀是:

    <think> S_1^cot S_2^cot ... S_n^cot </think> S_1^res S_2^res ... S_{n-1}^res

    Articulation 在这个前缀后继续生成 SnresS_n^{res}。因此:

    • 历史 think 影响当前回复的“内容依据”;
    • 历史 response 影响当前回复的“已说内容”,避免重复或自相矛盾;
    • 当前 think segment 是增量信息,决定本段回复能推进到什么程度。

    两种初始偏移:

    • Think-First:Formulation 先产生 Tc=80T_c=80 个 think tokens,Articulation 再生成 Tr=100T_r=100 个 response tokens 并合成语音;之后进入分段循环。首响应前的额外 token 是 80。
    • Speak-First:Articulation 先直接生成 Tr=100T_r=100 个 response tokens,同时 Formulation 开始思考;Formulation 在首段语音播放完之前完成 Tc=80T_c=80 个 think tokens。首响应前的额外 token 是 0。

    论文附录 Figure 4 给出了 Speak-First 的完整例子(Robin 头发长度问题):第一段 Articulation 在没有任何 think 内容时先说出 “Robin’s hair started at 16 inches. He cut off 11”;随后 Formulation 产出第一段推理,Articulation 接着说出 “so 16 minus 11 is 5 inches”;再下一段 think 到达后,Articulation 继续算到 17。这个例子直观展示了“说话被思考配速”的过程。

    Articulation 在推理未完成时开口,必须学会“只看半截 CoT 也能合理继续说”。MPS 用 think-incomplete SFT 训练这一点:

    1. 取一条带完整 CoT 的训练样本;
    2. 随机保留 CoT 的前 LL 步,删除后续内容;
    3. 用 <think> / </think> 包住剩余的不完整 CoT;
    4. 拼接 groundtruth response;
    5. 用标准 next-token prediction 训练。

    论文强调,MPS 不改变单个 LLM 的输入输出模式,因此不需要为双脑架构重新预训练 LLM;需要的只是让 Articulation 适应“不完整 think 前缀”的 SFT。

    推理阶段使用固定 token 数分段:

    • Tc=80T_c=80:每个 think segment 80 个 think tokens;
    • Tr=100T_r=100:每个 response segment 100 个 response tokens;
    • Step-Audio 2 的 ta4 输出格式:1 个 text token + 4 个 speech token,因此 100 个 response tokens = 20 个 text tokens + 80 个 speech tokens。

    论文还报告了两个负结果:尝试用 SFT 阶段的“自然步骤”分段,因为每步 CoT 长度可变,会引入不可控延迟;尝试在 SFT 阶段就用固定 token 数切 CoT,也没有带来性能提升。最终采用“SFT 按步骤截断、推理按固定 token 数分段”的组合。

    这里有一个值得注意的分布错配:训练时的“不完整”是段落级截断,推理时的“不完整”是固定 80-token 截断。论文没有量化这种错配的影响,只说固定 token SFT 没有收益。

    维度 Think-First Speak-First
    首响应前 先等 80 个 think tokens 立即生成 100 个 response tokens
    思考与说话 先想一个前缀,再进入分段循环 说话与思考并行
    首响应前额外 token 80 0
    延迟口径 TcT_c + 流式 TTS buffer 仅流式 TTS buffer
    质量倾向 更高,接近 TBS 略低,首段没有推理依据

    延迟口径的限定:论文说的“zero latency”是首响应前额外 token = 0,不是端到端零延迟。TTS buffer、模型计算、网络与播放缓冲仍然存在;论文没有给出 wall-clock 毫秒数。

    质量代价:

    • Spoken-MQA 总体:Think-First 93.9,Speak-First 92.8,TBS 93.0;
    • 但长算术子项:Think-First 84.9,Speak-First 71.7,TBS 88.4;
    • URO-Bench 英文 Pro:Think-First 85.0,Speak-First 74.8,TBS 83.3。

    论文的解释是:推理类任务的 early CoT 往往只是在复述问题,所以首段没有 think 也能撑住;算术类任务需要尽早拿到关键数字与运算,首段无思考的代价更大。这个解释与长算术的掉点一致,但也说明 Speak-First 的“接近 TBS”并不适用于所有任务。

    • 种子:真实用户查询;
    • 转写/增强:GPT-4o 对查询做转写与扩充;
    • CoT 蒸馏:用扩充后的 query 提示 DeepSeek-R1,生成带原生 CoT 的对话数据。

    DeepSeek-R1 是文本中心模型,原始数据有两类问题:

    1. 文本风格不兼容语音:Markdown、emoji、多级列表无法自然朗读;
    2. CoT 是完整的回合式推理:不适合训练“从半截思考开始回复”。

    处理管线:

    • Compatibility Processing:丢弃含 Markdown 或多项目列表、无法自然朗读的样本;含 emoji 的样本用 Qwen-72B-Instruct 去除 emoji,保留纯文本;
    • CoT Pruning:随机删除一些推理段落,但尽量保持整体逻辑;不删段落内的单句,也不用 LLM 重写剩余内容,以维持原始 DeepSeek CoT 的风格分布。

    Spoken-MQA(Table 1,accuracy %):

    方法 Arithmetic Short Arithmetic Long Arithmetic Avg Reasoning Single Reasoning Multi Reasoning Avg Overall
    Step-Audio 2 89.0 52.6 65.9 95.6 90.4 91.9 88.8
    MPS-wo/thk 71.0 34.1 47.6 88.0 67.8 73.8 70.6
    MPS-tbs 90.0 88.4 89.0 94.4 93.2 93.6 93.0
    MPS-thkfirst 89.0 84.9 86.4 95.6 94.6 94.9 93.9
    MPS-spkfirst 87.0 71.7 77.3 96.0 94.5 94.9 92.8

    首响应前额外 token(Table 2):

    方法 Accuracy Extra Tokens
    Mini-Omni-Reasoner 68.6% 8
    MPS-tbs 93.0% 762
    MPS-thkfirst 93.9% 80
    MPS-spkfirst 92.8% 0

    URO-Bench(Table 3,GPT-score / accuracy):

    方法 中文 Basic Avg 中文 Pro Avg 英文 Basic Avg 英文 Pro Avg
    MPS-wo/thk 83.4 74.4 77.4 65.1
    MPS-tbs 87.8 79.0 86.1 83.3
    MPS-thkfirst 89.1 80.5 87.0 85.0
    MPS-spkfirst 87.6 79.9 85.2 74.8

    系统级结果(Figure 1):Step-Audio R1.1 Realtime(MPS based)在 Artificial Analysis Big Bench Audio · Speech Reasoning 上为 97.6%,高于 Grok Voice Think Fast 1.0(97.1%)、Gemini 3.1 Flash Live High(96.6%)、GPT-Realtime-2 High(96.6%)、Grok Voice Agent(93.3%)等。注意这是产品系统的排行榜成绩,不是论文受控实验的直接对照。

    MPS 是 StepAudio 3 Realtime 双脑设计的公开方法来源。它把 StepAudio 报告里省略的实现细节补到了以下程度:

    问题 MPS 的回答 对 StepAudio 的适用性
    两个 Brain 是两个模型吗 不是;两个 LLM 角色共享同一套参数 与 StepAudio “two concurrent calls to the same audio model” 一致
    什么时候分出两流 每个 think segment 同步一次;MPS 内部不是 turn 级或音频块级(StepAudio 另有 Adaptive Thinking 的 turn 级门控) 机制一致;StepAudio 未披露 segment 大小
    两流如何交互 Formulation 注入 SncotS_n^{cot};Articulation 以 <think> S_1..S_n </think> S_1..S_{n-1}^{res} 为前缀生成 SnresS_n^{res} 机制一致;StepAudio 未披露前缀构造
    think segment 多大 Tc=80T_c=80 tokens StepAudio 未披露,不能直接套用
    response segment 多大 Tr=100T_r=100 tokens(20 text + 80 speech) StepAudio 未披露,不能直接套用
    如何训练 Articulation Think-incomplete SFT:随机截断 CoT 后做 next-token prediction StepAudio 未披露训练细节
    如何控制首响应延迟 Think-First(80 tokens)或 Speak-First(0 tokens) StepAudio 明确有 Speak-First 默认与 Think-First 选项

    不能直接外推的部分:

    • MPS 的 backbone 是 Step-Audio 2;StepAudio 3 Realtime 用 Step 3.7 Flash MoE(约 196B 总参 / 11B 激活),音频前端是 Qwen3-Omni AuT,且是全双工 320 ms 块输入。两者的模型规模、音频表示和训练数据不同。
    • MPS 的 segment 是 token 级;StepAudio 的 320 ms 是音频块级。两者不是同一层的时间单位,不能把 80/100 tokens 直接换算成 320 ms。
    • MPS 的“dual-LLM”在论文里是架构描述;StepAudio 的“two concurrent calls”是产品报告描述。底层 serving 是否共享 KV cache、是否 batch、是否每段重算前缀,两篇都没有完整说明。
    • “dual-LLM” 但共享参数:双脑的收益来自角色分离与增量前缀,而不是两个专长模型。论文没有做“共享参数 vs 独立参数”的消融,因此不能把收益归因于“两个模型”的多样性。
    • MPS-wo/thk 与 Step-Audio 2 的差距不能全部归因于 thinking:前者是同一 backbone 去掉 thinking 的对照,后者是作者复现的完整系统;两者训练配方可能不同,88.8 与 70.6 的差距需要谨慎解读。
    • Zero-latency 是 token 级指标:首响应前额外 token = 0 不等于端到端零延迟;论文没有报告 TTS buffer、网络、端到端毫秒数。与 Moshi 的毫秒级延迟口径不能直接比较。
    • 分段大小没有消融:Tc=80T_c=80、Tr=100T_r=100 是核心的延迟—质量旋钮,但论文没有系统比较不同 segment 大小;只报告了“自然步骤分段”和“固定 token SFT”两个负结果。
    • Speak-First 的掉点被低估:总体 92.8 接近 TBS 93.0,但长算术 71.7 vs 88.4、英文 Pro 74.8 vs 83.3,说明“接近 TBS”只在部分任务成立。论文用“slightly worse”概括,掩盖了任务异质性。
    • 训练/推理截断方式不一致:SFT 按段落截断,推理按固定 80-token 截断;论文没有量化这种分布错配,也没有给出按 token 截断的训练消融(只说固定 token SFT 没有提升)。
    • 数据与评测偏差:CoT 来自 DeepSeek-R1(文本中心),查询增强用 GPT-4o;URO-Bench 用 GPT-4o-mini 打分,没有人类评测。语音场景的推理风格、评分偏好都可能被文本模型带偏。
    • Figure 1 不是受控实验:Step-Audio R1.1 是完整产品系统,可能包含 MPS 之外的数据与训练;把它与 GPT-Realtime-2、Gemini 3.1 Flash Live 对比,不能单独证明 MPS 的贡献。
    • 可复现性:论文给出代码与模型链接(github.com/stepfun-ai/Step-Audio-R1、huggingface.co/stepfun-ai/Step-Audio-R1.1),但正文没有给完整训练配方、数据规模与超参;14 页 preprint 的细节仍不足以独立复现。
    项目 论文报告
    标题 Mind-Paced Speaking: A Dual-Brain Approach to Real-Time Reasoning in Spoken Language Models
    作者/机构 Donghang Wu、Haoyang Zhang 等;StepFun、NTU、UNSW
    版本 arXiv:2510.09592v2,2026-05-10;14 页
    Backbone Step-Audio 2
    双脑参数 两个 LLM 角色共享同一套参数
    think segment Tc=80T_c=80 tokens
    response segment Tr=100T_r=100 tokens(ta4:20 text + 80 speech)
    Think-First 额外 token 80
    Speak-First 额外 token 0
    TBS 额外 token 762
    Spoken-MQA 93.9 / 92.8 / 93.0(Think-First / Speak-First / TBS)
    URO-Bench 中文 89.1 / 87.6 / 87.8 Basic;80.5 / 79.9 / 79.0 Pro(Think-First / Speak-First / TBS)
    URO-Bench 英文 87.0 / 85.2 / 86.1 Basic;85.0 / 74.8 / 83.3 Pro(Think-First / Speak-First / TBS)
    Big Bench Audio(Step-Audio R1.1) 97.6%
    代码/模型 Step-Audio-R1、Step-Audio-R1.1