资料摘要:StepAudio 3 Realtime
阶跃星辰(StepFun-Audio Team)的实时音频语言基础模型技术报告:以 listen–converse–think–act 连续循环组织深度感知、无缝双工、边说边想与流式工具调用;主干为 Step 3.7 Flash MoE(约 196B 总参、11B 激活),音频前端采用 Qwen3-Omni 的 Audio Transformer,和 StepAudio 3 ASR Max 共享预训练/中期训练、仅在 SFT 阶段分化。Artificial Analysis Full-Duplex Bench 总分 98.9,MMSU 90.6;报告同时给出 ASR、音频理解、对话推理、τ-Voice 代理任务与 MTP 加速的系统评测。
- 统一循环而非模块级联:Deep Perception、Seamless Duplex、Think-While-Speaking 与 Voice Agent 共享同一个对话上下文,用户语音、模型语音、对话历史、推理进度和工具状态都进入上下文。
- 双流全双工表示:用户音频流与模型音频流共同输入;音频按 320 ms 块组织,每块后跟一个 interaction-state token 或文本 token,音频与状态共享时间轴。
- 边说边想:Formulation Brain 生成私有推理轨迹,Articulation Brain 依据“目前已经说出的内容 + 已完成的推理”逐段生成语音;playback-aware scheduling 让推理与播放并行,默认 Speak-First,也可 Think-First 等短推理前缀。
- Adaptive Thinking + MTP:Adaptive Thinking 按 turn 决定是否显式推理;MTP3/MTP5 用多预测头加速私有推理,报告 1.76×–2.05× 的 wall-clock 加速。
- 模型合并整合能力:多个专长教师从同一基座训练,再以 3:1:1:1 参数加权平均合并,避免单一模型在全量数据上重训。
- 关键结果:Full-Duplex Bench 98.9(turn-taking 100.0、打断处理 99.0);StepAudioChat 推理模式 73.0 macro;MMSU 90.6、MMAR 86.5、八项音频理解 macro 79.0;τ-Voice macro 56.0;HMMT 2026 Feb 86.8。
- 边界:这是闭源 API 模型的技术报告,无开放权重;报告没有给出端到端毫秒级延迟,且 StepAudioChat 是封闭文本基准,跨论文比较需谨慎。
1. 问题设定:实时口语交互的四件事
Section titled “1. 问题设定:实时口语交互的四件事”论文把实时语音交互拆成四个同时发生的过程:
- 听:不仅转写词,还要从声学线索判断意图、情绪、是否说完。
- 说:生成有合适语调、停顿和节奏的流式语音。
- 想:复杂请求需要显式推理,但推理不能阻塞开口。
- 做:调用工具或后端任务,并在执行期间继续对话。
传统 ASR→LLM→TTS 级联的主要问题是:每一级都要等上一级完成,且很难把用户插话、模型自身语音和工具结果放进同一个时间上下文。StepAudio 3 Realtime 的核心主张是把这些功能放进共享对话上下文,让它们并发推进。
2. 模型架构
Section titled “2. 模型架构”- 语言主干:Step 3.7 Flash,MoE 架构,约 196B 总参数、11B 每 token 激活参数。
- 音频前端:Qwen3-Omni 的 Audio Transformer(AuT)encoder;adapter 把 encoder 输出映射到语言模型 embedding 空间。
- AuT 冻结状态:报告只在 ASR Max 的 SFT 阶段明确写 “keeping the audio encoder frozen”;预训练、中期训练与 Realtime 分支 SFT 是否冻结或微调 encoder 未披露。可确认的是复用 Qwen3-Omni 预训练编码器,不能推断全程冻结。
- 输入:full-duplex 输入路径同时接收用户音频流与模型音频流;文本走独立输入路径,与音频表示在 LLM decoder 中联合条件。
- 输出:generator 产生增量流式音频,并回流到 model audio stream,形成闭环。
3. 三阶段预训练与中期训练
Section titled “3. 三阶段预训练与中期训练”预训练分三段:
| 阶段 | 目标 |
|---|---|
| Modality alignment | 建立声学表示与语言模型之间的接口 |
| Multimodal mixed training | 大规模联合建模音频与文本 |
| Cooldown | 提高高质量数据权重,精修基础模型 |
- 固定序列长度 32K,共处理 1.2T 训练 token。
- 预训练混合提高纯文本比例,以保留基座模型的语言与推理能力。
- 数据管线包含事件检测(SED)、语音活动检测(VAD)、合并与重切分、质量/合成语音概率/说话人数等元数据、多套识别系统转写与语种识别交叉校验,以及质量感知采样。
- 中期训练把上下文扩展到 128K,并显著增加音频理解与 agent 交互数据,包括合成对话数据和 voice-agent 数据。
4. Deep Perception:ASR Max 与音频理解
Section titled “4. Deep Perception:ASR Max 与音频理解”StepAudio 3 ASR Max 与 Realtime 共享预训练/中期训练,只在监督微调阶段分化:ASR 分支专门做转写,Realtime 分支训练更广的音频理解与口语交互。
ASR Max 的 SFT 细节:
- 样本打包到最多 32K token;使用 SpecAugment 式时频掩码;冻结 audio encoder,只更新 audio-language adapter 与 decoder。
- 支持 context-aware ASR:对话历史、前序模型回复、场景描述或任务术语可作为可选证据,但目标转写仍须锚定输入波形,不能直接复制无关术语。
- 长短音频混合:短标注语料 + 长伪标注录音;多套识别系统转写后用 ROVER 融合,按一致性筛选片段再拼接成长会话,最后由 LLM 恢复标点与一致性。
- 长尾术语增强:用 LLM 扩展同音词、生僻字、缩写和产品名,生成自然句后转语音,仅保留发音与目标文本一致的样本。
音频理解数据构造:
- Sampling:按 duration、language、quota、device 等控制采样。
- Description:描述音频内容。
- Capability tagging:按自定义子能力空间打标签。
- Query construction:为每个片段构造一个或多个 clip-specific 问题。
- Labelling:多个模型独立标注,按一致性与质量检查合并。
质量控制先用确定性规则去掉空、截断、畸形或严重重复的输出,再用纯文本 LLM judge 评估 query、response 的信息量与 case value;音频 grounding 可靠性则由多个模型对同一 audio-question pair 的回答一致性估计。只有高质量、高 case value、强跨模型一致的样本进入 SFT;更广但普通的样本可进入中期训练。
“Less is more”消融:约 200 万随机 SFT 样本 vs 约 10 万质量控制样本,后者把 MMSU 从 78.70 提到 89.70、MMAR 从 74.70 提到 84.50、WildSpeech 从 74.20 提到 77.11,MTalk-Bench 的 ambient/paralinguistic/semantic 子集 macro 从 71.73 提到 81.80。
5. Seamless Duplex:话轮管理
Section titled “5. Seamless Duplex:话轮管理”- 音频按 320 ms 块切分,每块后接一个 state token 或文本 token;模型增量跟踪当前交互状态。
- 状态 token:Figure 5 的时间线示例包括
no_voice、user_voice、speaking transition;报告未给出完整状态清单,也未说明状态 token 的因果语义(描述前一块还是决定下一块)。正文另有四个决策动作(continue listening、initiate a response、continue speaking、yield),与状态 token 不是同一层级。 - 块内组成:Figure 5 的时间线为
S a a a a E+ 一个 state/text token;S/E是块边界,a是块内音频表示。块内a的数量与类型(连续表示还是离散 token)未披露;320 ms 块是双工音频时间轴的单位,不是推理块。 - 系统联合使用用户语音、模型自身语音和对话历史判断:
- 句内停顿 vs 话轮结束:区分“还没说完”和“说完了”。
- backchannel vs 打断:短附和表示继续听;实质性请求或纠错才触发让出话轮。
- 背景语音拒绝:判断 incoming speech 是否在对助手说,避免把旁人对话当输入。
- 中期训练使用超过 10,000 小时合成全双工交互数据,混合 streaming ASR、VAD 与 utterance-completeness 预测监督;后期用高质量交互数据继续训练 turn-taking、backchannel、打断处理与背景语音拒绝。
6. 对话智能与 Think-While-Speaking
Section titled “6. 对话智能与 Think-While-Speaking”StepAudioChat 是封闭的文本型对话基准,覆盖八个维度:Instruction Following、Faithfulness、Reasoning、Memory、Knowledge、Safety & Reliability、Conversational Pragmatics、Persona & Role Consistency。题目来自真实交互的去标识化话语,配可独立检查的判据、有效参考答案和故意有缺陷的参考答案;难度用两套能力不同的参考系统校准。
多轮对话数据采用因子化构造:主题与讨论点、参与者 persona、轮次深度、目标能力四个轴;先选讨论点,再规划情节与角色,自博弈生成前 N−1 轮,最后注入目标能力并构造 final-turn query,只对最后一轮标注。
Think-While-Speaking 建立在 Mind-Paced Speaking 的双过程设计上:
- Formulation Brain:生成私有推理轨迹。
- Think Token:Figure 7 把 token 分为 Input Token、Think Token、Response Token;私有推理以 think token 流生成,与 320 ms 音频块不是同一层。Adaptive Thinking 可选择空 think block(不显式推理),MTP 主要加速 think token 流。
- Articulation Brain:根据已有推理和已经说出的语音,逐段生成回复。
- 双脑的实现形态:§6.3 原文为 “Two concurrent calls to the same audio model”,Figure 7 标注 “Same Model”;即同一套权重、两个并发解码调用,不是两个独立模型。参数不翻倍,但推理算力近似翻倍;报告未披露两次调用是否共享 KV cache 或上下文前缀,也未披露 Think/Response 两条流的同步协议。需区分音频输入层的双流(用户音频流 + 模型音频流)与解码层的双流(Think Token 流 + Response Token 流),二者不在同一层。
- 双脑不等于整个系统:双脑只是 Think-While-Speaking 的内部机制;Seamless Duplex 负责交互(话轮、打断、backchannel),Voice Agent 负责工具路由与异步执行。报告没有把工具调用分配给 Formulation 或 Articulation;§7.2 只说推理支持约束解析与任务规划,工具/后端结果再回灌上下文。
- 分流时机与 token 接口:是否启用双脑的分流是 turn 级——Figure 7A 先由 Adaptive Thinking 判断是否需要显式推理,NO 走 empty think block 的直接回应,YES 才进入双脑;不是每个 320 ms 块重新分流。一旦进入双脑,内部按 think segment 同步(见 资料摘要:Mind-Paced Speaking)。Figure 7B 的接口为:Formulation 输出
Current Think注入 Articulation,Articulation 条件于Previous Think、Current Think、Previous Response、Current Response并输出Current Response。报告未给出两个 call 的创建/结束时机、reasoning available so far的游标语义、response 截断粒度或 segment 调度算法。进一步的实现细节可参考 资料摘要:Mind-Paced Speaking:MPS 以 think segment 为同步单位,、,Articulation 前缀为<think> S_1..S_n </think> S_1..S_{n-1}^{res};StepAudio 3 Realtime 是否使用相同超参未披露。 - Playback-aware scheduling:按流式输出音频的播放进度释放下一段回复;推理尚未完成时可以先说,推理完成后的后续片段再补充或纠正。
- 默认 Speak-First:不等推理前缀,直接开口;也可 Think-First:先等一小段推理前缀。
7. Adaptive Thinking 与 MTP
Section titled “7. Adaptive Thinking 与 MTP”Adaptive Thinking 的目标是减少不必要的显式推理。构造监督时,对每个 assistant turn 收集对话上下文、目标答案、原始推理轨迹和任务特征;用一个固定的 probe model 在 no-think 条件下重答,再由 blind judge 判断“有推理”是否真的改善了答案质量。被标为“推理不必要”的 turn 成为替换候选;每个领域设 no-think 比例预算,并按细粒度 topic 分层,避免推理密集型能力被过度削减。
MTP 用 MTP3/MTP5 多预测头草拟未来 token,再做验证:
- Strict verification:沿用目标模型的标准 speculative decoding 规则。
- Medusa-style typical acceptance:用熵自适应置信阈值接受草稿,允许生成分布发生受控变化。
- 对私有推理使用 typical acceptance 和 repetition penalty 1.05;对 spoken response 保持 strict verification。
- 报告 MTP5 Medusa 接受 2.153 个草稿/target step,wall-clock 1.72×;MTP3 Medusa 接受 1.801,wall-clock 2.05×。作者明确指出 acceptance 不等于净效率,wall-clock 也受推理长度与解码成本影响。
8. 模型合并与 Voice Agent
Section titled “8. 模型合并与 Voice Agent”模型合并:从同一基座训练多个专长教师(多轮对话、音频理解、通用文本推理、混合域行为),再直接对参数做加权平均:
报告模型使用四个教师、归一化 3:1:1:1 权重。合并发生在参数空间,不增加推理期路由或额外模块。
Voice Agent:§7 开篇的原文是 “The model selects among direct responses, lightweight tool calls, and asynchronous backend execution based on the requirements of each request.” 三条路径的判据是:日常对话与稳定知识直接回答;需要最新公开信息时调用天气/搜索等轻量工具;需要私有上下文、多步处理或超出当前 turn 的长任务时交给后端异步执行。对话期间用户可以继续提问、补充要求或切换话题;工具结果返回后进入共享上下文,供后续推理与回复使用(ReAct 式证据回灌)。
路由机制:报告没有描述独立的路由器、分类器、特殊 token、置信阈值或工具注册表。可确定的是:这是同一个模型基于请求要求做出的行为选择,而不是模型合并引入的推理期路由——§6 明确说参数合并 “introduces neither additional model components nor inference-time routing”,那句只针对模型合并,不是 Voice Agent。Figure 2 把 “INTENT · TOOL CALL · FEEDBACK” 画成 Streaming Action 能力弧,也不是独立模块。训练上,§7.3 用 targeted voice-agent dialogues 覆盖 request routing、clarification、private-context retrieval、confirmation、execution-time updates、progress queries 与 result reporting,再用 multi-step agent trajectories 和负样本(不必要的工具调用、无证据的成功声明)塑造边界;报告未说明优化方法是 SFT、RL 还是混合。
执行前后的约束:语音请求即使语法完整,也可能缺少工具执行所需的意图或参数。因此模型在执行外部动作前,先通过追问澄清或用工具检索上下文补齐信息,并在有后果的动作前取得确认。这条约束是训练目标,不是外置的规则引擎。
9. 评测结果
Section titled “9. 评测结果”ASR(Table 1,越低越好):LibriSpeech test-clean 1.18、test-other 2.28、AISHELL-1 6.49、WenetSpeech test-net 3.99、test-meeting 4.55;ContextASR-Bench 英文 speech/dialogue 7.91/3.43,中文 1.43/1.02。作者报告英文 macro 5.67%、中文 macro 1.23%。
音频理解(Table 2,0–100):Big Bench Audio 98.1、AudioMultiChallenge 49.3、MMSU 90.6、MMAU 79.0、WildSpeech 77.1、MMAR 86.5、Step-Caption 78.2、MTalk-Bench 72.8,macro 79.0。报告称在八项中领先四项,MMSU/MMAR 优势最大;AudioMultiChallenge 仍落后 Gemini 3.1 Pro 17.7 分。
全双工(Table 3,Artificial Analysis 的 Full Duplex Bench v1/v1.5 子集):pause handling 98.9、turn taking 100.0、user interruption 99.0、backchannel 98.0,Overall 98.9;对比 Qwen Audio 3.0 Realtime Plus 98.4、GPT-Realtime-2 High 95.3、Grok Voice Think Fast 2.0 High 95.1。
对话与推理(Table 4,reasoning mode):macro 73.0;Instruction Following 66.3、Faithfulness 72.4、Reasoning 73.0、Memory 72.0、Knowledge 73.1、Safety 79.0、Pragmatics 67.2、Persona 80.9。高于 Doubao 2.0 Lite 70.5 与 DeepSeek-V4-Flash 71.4,低于 Kimi K3 77.1。
Adaptive Thinking(Table 5):显式推理触发率 51.5%–82.0%。full thinking 相对 forced no-think 的最大增益在 Reasoning(+11.37)、Persona(+8.37)与 Knowledge(+5.94);但 Adaptive Thinking 的 Reasoning 分数 66.80 低于 full thinking 的 71.89,说明选择策略尚未把推理预算完全分配给最需要的 turn。
MTP(Table 6/7):MTP3 Medusa 2.05×、MTP5 Medusa 1.72× wall-clock;MTP5 typical acceptance 在接受深度增加后边际接受率快速下降(head4 24.9%、head5 16.4%),额外头部的收益递减。
模型合并(Table 8):合并模型音频理解 macro 79.0、通用文本 macro 76.5、对话 macro 73.0;对话仍低于最强教师 Teacher 1 的 74.2,说明合并是能力折中而非全面超越。
Voice Agent(Table 9):τ-Voice macro 56.0(airline 60.0、retail 37.7、telecom 70.2);Grok 56.5、Qwen 54.6、GPT 45.7。电信域最高,零售域明显偏弱。
汇总(Table 10):realtime 交互模式对话 macro 70.4,reasoning 模式 73.0;HMMT 2026 Feb 86.8、GPQA Diamond 83.0、MultiChallenge 59.7。
| 项目 | 论文报告 |
|---|---|
| 语言主干 | Step 3.7 Flash MoE,约 196B 总参 / 11B 激活 |
| 音频前端 | Qwen3-Omni Audio Transformer(AuT)+ adapter |
| 预训练 | 三阶段,32K 序列,1.2T token |
| 中期训练上下文 | 128K |
| 全双工音频块 | 320 ms / block |
| 合成全双工数据 | >10,000 小时 |
| 全双工 Overall | 98.9(turn-taking 100.0) |
| 音频理解 macro | 79.0(MMSU 90.6、MMAR 86.5) |
| StepAudioChat | reasoning 73.0 / realtime 70.4 macro |
| τ-Voice | 56.0 macro |
| 合并权重 | 四个教师 3:1:1:1 |
| 来源 | arXiv:2609.14005,v3 2026-10-12 |
- “实时”缺少端到端延迟口径:报告强调 Think-While-Speaking 解决“深度推理 vs 延迟”的矛盾,但正文没有给出首包延迟、token cadence 或端到端毫秒数;与 Moshi 的 160/200 ms 口径不能直接对照。
- 封闭基准限制可比性:StepAudioChat 是闭源文本型 benchmark,题目、judge prompt 与评分细节未公开;它适合做内部能力诊断,不适合作为跨机构排行榜。
- 全双工分数不等于任务完成:Full-Duplex Bench 98.9 说明话轮控制强,但 τ-Voice retail 仅 37.7,说明“会接话”与“把事办成”仍是两种能力。
- 路由机制不可复现:§7.1 只给三类路径与语义判据,没有路由器架构、阈值、置信度/成本模型、工具 schema 或路由准确率;τ-Voice 衡量端到端任务成功率,不能诊断“该走 A 却走了 B”。retail 37.7 也说明复杂域的路由与执行仍弱。
- Overall 第一不等于逐项第一:GPT-realtime-2 的 pause handling 99.3 高于 StepAudio 的 98.9,Qwen Audio 3.0 Realtime Plus 的 backchannel 100.0 高于 98.0;总分领先更多来自打断处理与类别均衡,且 0.5 分总体差距的统计显著性未报告。
- 共享训练削弱 ASR 结果的独立解释:ASR Max 与 Realtime 共享预训练/中期训练,Table 1 描述的是 ASR 专模,不是 Realtime 分支的转写行为。
- 模型合并的归因有限:3:1:1:1 权重与教师数据配比未做完整消融;合并模型在对话上低于最强教师,不能把全部收益归因于合并机制。
- Adaptive Thinking 的选择策略仍有改进空间:推理类 turn 的 think rate 为 59.5%,但 full thinking 对 Reasoning 的增益最大;Faithfulness 的 think rate 高达 79.2%,却只带来 1.72 分增益,说明当前策略更像“按类别预算”而非“按边际收益分配”。
- 数据质量消融可能混入选择偏差:约 10 万质量控制样本由 judge 与多模型一致性筛出,可能更接近 benchmark 的题型与判据;这能解释高分,但不能直接外推为真实交互能力。
- 闭源与可复现性:论文未发布权重、数据或完整评测脚本,只提供 API 产品;所有数字应视为作者口径。
- Wiki 目录
- 资料摘要:Moshi — 双音频流 + Inner Monologue 的全双工语音对话先驱
- 资料摘要:Qwen2.5-Omni — Thinker-Talker 全模态流式语音系统
- 资料摘要:GPT-4o System Card — 低延迟全模态语音交互的另一条产品路线
- 资料摘要:X2-Turn — 双头联合流式 ASR 与 turn-state prediction
- LALM(大型音频语言模型) — 实时音频语言模型的定位
- 全双工语音交互(Full-Duplex) — 双流、话轮管理、打断与 backchannel
- Think-While-Speaking(边说边想) — 双脑并行推理与播放感知调度
- 资料摘要:Mind-Paced Speaking — 双脑设计的公开方法来源:共享参数、80-token think segment、100-token response segment、Think-First/Speak-First 与 think-incomplete SFT
- 多 Token 预测(MTP) — MTP3/MTP5 与 speculative decoding 的关系
- 流式语音合成 — 流式 TTS 的延迟与因果生成背景
- 自动语音识别(ASR) — ASR Max 的转写任务与评测口径
- 音频理解基准 — MMSU、MMAU、MMAR 等音频理解评测