ARXIV:2609.14005V3 · 12 OCT 2026 · 中文全文译稿

StepAudio 3 Realtime
Technical Report

一个围绕 listen–converse–think–act 循环构建的实时音频语言基础模型。

StepFun-Audio Team项目主页arXiv:2609.14005v3 [cs.SD] 12 Oct 2026
01 / LISTEN听双流音频与声学线索持续进入共享上下文
02 / CONVERSE说停顿、backchannel 与打断由对话状态协调
03 / THINK想Adaptive Thinking 选择深思,MTP 加速私有推理
04 / ACT做Voice Agent 异步执行工具,结果回流对话
PDF
27 页
Figures
7
Tables
10
References
57
Inline math
11

实时口语交互要求深度推理、即时响应与流畅的话轮转换。我们提出 StepAudio 3 Realtime——一个围绕连续 listen–converse–think–act 循环组织的音频语言基础模型。Deep Perception 捕捉丰富的声学线索以理解用户意图;Seamless Duplex 对同步音频流建模,自然处理停顿、backchannel 与打断。关键在于,我们通过 Think-While-Speaking 化解深度思考与延迟之间的张力,让私有推理与语音播报并行执行。在 reasoning 模式下,StepAudio 3 在 StepAudioChat 上达到 73.0 的宏平均;借助 Think-While-Speaking,它在实时说话的同时取得与专用推理模型相当的对话与推理表现。此外,集成的 Voice Agent 可异步执行工具而不打断对话流。StepAudio 3 Realtime 在关键维度上达到顶尖水平:MMSU 90.6、Artificial Analysis Full-Duplex Bench Overall 98.9,以及 τ\tau-Voice 56.0% 的宏平均任务成功率。

Figure 1:StepAudio 3 ASR Max 与 StepAudio 3 Realtime(蓝色)的基准结果,并与基线(灰色)比较。ASR 错误率越低越好,其余指标越高越好。Dialogue 取八个维度的平均,full duplex 报告 Overall,τ\tau-Voice 取三个领域的平均。详见 Table 1 与 Table 10。

1 引言

自然的口语交互要求系统在跟随用户的同时管理自己的回应。请求尚未说完时可能出现停顿;模型说话期间出现的话语,可能是附和,也可能是实质性打断。复杂请求带来另一重挑战:模型必须仔细推理,同时保持对话的响应性。工具使用进一步延伸了这一挑战,因为外部任务的执行时间可能超过发起它的语音交流。

语音识别的进展把声学表示与大型语言模型的语言知识结合起来 [1–3]。音频语言模型如今支持更广泛的声学理解与直接语音生成 [4–8]。流式与全双工系统进一步允许听与说重叠 [9–12]。这些能力共同使回应能够同时考虑语言内容、声音表达与对话时序。

StepAudio 3 Realtime 建立在 Step-Audio 系列共享的音频语言基础之上 [13–16]。其重点是随着对话展开协调感知、推理与行动。我们把上述功能组织为 listen、converse、think、act 循环。Deep Perception 捕捉语言与非语言声学证据;Seamless Duplex 利用用户语音与模型语音管理话轮;Think-While-Speaking [17] 协调推理与语音播报,并由 Adaptive Thinking 与 multi-token prediction 支撑;流式 Voice Agent 把对话意图带入工具执行,并把结果纳入后续对话。这些功能按需并发运行,新的用户输入持续塑造正在进行的交互。

Figure 1 汇总了 StepAudio 3 ASR Max 的 ASR 结果与 StepAudio 3 Realtime 的能力评测。实时模型在八项音频理解基准中的四项领先所报告基线,并在 Artificial Analysis Full-Duplex Bench 上取得所报告的最高 Overall 分数。结果也指出了多轮约束遵循与零售工具使用任务上的剩余差距。第 8 节给出评测协议与领域级分析。

2 实时对话循环

StepAudio 3 Realtime 通过一个不断演化的对话上下文协调听、说、推理与行动。用户语音、模型语音与工具结果可能在其他交互环节仍在进行时到达。Figure 2 给出这些耦合功能的概览。

2.1 共享对话上下文

对话上下文包括声学与语言证据、对话历史、当前话轮、推理进度与工具执行状态。感知保留用户说了什么以及怎么说的线索。模型侧语音为解释与回应重叠的用户话语提供额外上下文。

这一上下文决定是继续听还是继续说、是否需要进一步推理,以及请求是否已准备好交给外部行动。新观察到的语音与返回的工具结果会随着对话推进改变这些决定。

Figure 2:StepAudio 3 Realtime 的对话循环。用户与模型语音共同作用于感知与话轮管理。推理支持语音回应与工具使用,返回的工具结果则更新上下文,供后续交互使用。

2.2 协调语音、推理与行动

对话时序与推理进度不必以相同速度推进。Seamless Duplex 处理停顿、用户 backchannel 与实质性打断。Think-While-Speaking 允许在完整推理轨迹完成前开始语音播报。Adaptive Thinking 选择何时显式推理有用,MTP 加速私有推理。第 5 节与 6.3 节介绍这些能力。

Voice Agent 把交互扩展到需要工具的任务。它在执行前解析请求与所需参数,然后把返回的证据纳入对话。任务进行期间用户可以继续说话。这种协调让外部工作与对话并行推进,详见第 7 节。

3 模型架构与基础训练

3.1 系统架构

StepAudio 3 Realtime 采用 mixture-of-experts 架构,总参数约 1960 亿,每 token 激活约 110 亿。语言主干基于 Step 3.7 Flash [18]。音频前端使用 Qwen3-Omni [8] 的 Audio Transformer(AuT)encoder。adapter 把 encoder 输出映射到语言模型的表示空间。

Figure 3 汇总系统架构。全双工输入路径同时纳入用户音频流与模型音频流。音频表示经过 encoder 与 adapter 进入 LLM decoder。文本 token 通过独立输入路径进入 decoder,使其能够联合以声学信息与文本上下文为条件。生成器产生流式模型音频,并回流到模型音频流,供后续交互使用。第 5 节介绍话轮管理。

Figure 3:StepAudio 3 Realtime 的系统架构。LLM decoder 通过音频 encoder 与 adapter 接收音频表示,并接收独立的文本输入。用户音频与模型音频构成两条全双工流,generator 输出回流到模型音频流。波形为示意。

语音生成器产生增量输出,并具有与上下文相称的语气与节奏。自然表达包含停顿、犹豫等表达性线索,把回应内容与其交际意图连接起来。

3.2 三阶段预训练

数据整理。 预训练数据通过自动化大规模音频整理管线准备 [16]。原始音频先经声音事件检测与语音活动检测过滤,再合并、重切分为长度合适且保留语义完整性的样本。管线为音频分配质量、合成语音可能性、说话人数等音频级元数据;它还使用多套识别系统做转写与语种识别,交叉检查输出,并按声学与语义质量给样本分级。这些标注支撑跨训练阶段的质量感知采样。针对 StepAudio 3 Realtime,管线被扩展以扩大语言覆盖,并支持实时对话持续的感知与交互需求。

训练阶段。 预训练分为模态对齐、多模态混合训练与 cooldown 三个阶段。模态对齐阶段建立声学表示与语言模型之间的接口;多模态混合训练随后在大规模上发展联合音频—文本建模;cooldown 阶段提高高质量数据权重,精修所得基础模型。三个阶段中,StepAudio 3 Realtime 使用固定序列长度 32K,共处理 1.2T 训练 token。

预训练混合。 预训练混合提高纯文本比例,以保留基础语言模型的通用能力,并支撑后续推理与 agent 训练。

3.3 面向实时交互的中期训练

上下文扩展。 中期训练使用感知数据、合成对话数据与 voice-agent 数据。上下文长度扩展到 128K,以容纳更长的对话历史、更早的用户要求与中间工具结果。

中期训练混合。 这一阶段显著提高音频理解与 agent 交互数据的占比。前者拓宽语音、音乐、环境声与 audio grounding 推理的覆盖;后者训练模型把用户意图贯穿到规划、工具使用与语音跟进。4.2 节与第 7 节介绍相应的数据构造与训练流程。

4 深度感知:语音识别与音频理解

感知把词汇理解与说话人、声音表达、声学事件和时序结构线索结合起来。StepAudio 3 ASR Max 专精于转写,StepAudio 3 Realtime 则训练更广泛的音频理解与口语交互。我们先介绍 ASR 专精分支,再介绍音频理解的数据构造与后训练。第 8 节跨基准比较能力。

4.1 StepAudio 3 ASR Max

4.1.1 训练与数据构造

StepAudio 3 ASR Max 与 StepAudio 3 Realtime 共享相同的预训练与中期训练阶段。二者只在监督微调阶段分化:ASR 分支专精于转写,realtime 分支针对口语交互调优。

监督微调。 ASR 专精模型使用打包到最长 32K token 序列的样本微调。我们按 SpecAugment [19] 的增强原则施加时频掩码,同时冻结音频 encoder,只更新 audio-language adapter 与语言 decoder,以产生规范化转写。对于上下文感知识别,一个样本还可以额外提供对话历史、前序模型回复、场景描述或任务特定术语作为可选证据。目标转写仍然锚定输入波形,使模型能够利用相关上下文,而不是简单复制无关术语。

短音频与长音频 ASR 数据。 ASR 混合数据结合短标注话语与长伪标注录音。多套识别系统转写切分后的音频,其假设经对齐后用 Recognizer Output Voting Error Reduction(ROVER)[20] 融合。基于一致性的过滤挑选可靠片段,重新组合为更长会话;随后由 LLM 恢复标点并提升每个会话内部的一致性。

长尾术语增强。 罕见人名与技术术语常与发音相似的常见词混淆。因此我们针对这些情况构造定向合成训练样本。LLM 扩展知识分类体系,找出同音词、生僻字、缩写与产品标识丰富的类别。我们枚举候选术语、去重,并把术语放进自然承载句。这些句子被转换为语音,只有发音与目标文本一致时才保留。对于声学上易混的术语,选中的样本还可以包含对话历史或实体提示。这教会模型利用相关上下文,同时避免无关的词法替换。

Table 1:在标准公开基准与 ContextASR-Bench 上的 ASR 评测(越低越好)。
测试集StepAudio 3 ASR MaxDoubao 2.0 ASRSeed 2.0 LiteHY3.0 ASR Preview
LibriSpeech test-clean1.182.941.471.38
LibriSpeech test-other2.285.982.672.80
AISHELL-10.492.071.661.22
WenetSpeech test-net3.994.034.713.71
WenetSpeech test-meeting4.355.094.804.12
ContextASR-Bench
ContextASR-Speech-EN7.9112.049.488.53
ContextASR-Dialogue-EN3.439.093.654.66
ContextASR-Speech-ZH1.432.802.151.74
ContextASR-Dialogue-ZH1.0210.474.151.63

4.1.2 评测

基准。 我们在五个标准公开测试集上评测 StepAudio 3 ASR Max:LibriSpeech test-clean 与 test-other [22]、AISHELL-1 [23],以及 WenetSpeech test-net 与 test-meeting [24]。英文结果使用 word error rate(WER),中文结果使用 character error rate(CER)。为评估长尾术语增强所针对的语言知识,我们还使用公开的 ContextASR-Bench [25],它提供英文与中文的长篇、多领域、实体丰富语音。我们使用其 Contextless 设置,不注入领域标签、实体列表或外部 hotword;英文子集用 WER,中文子集用 CER。

结果。 Table 1 比较各基准子集上的 ASR 表现。StepAudio 3 ASR Max 在三个标准基准族上均处于领先:在 LibriSpeech 两个子集与 AISHELL-1 上最佳,并在 WenetSpeech 两个子集上领先 Doubao 2.0 ASR 与 Seed 2.0 Lite,仅以小幅差距落后 HY3.0 ASR Preview。在 ContextASR-Bench 上,StepAudio 3 ASR Max 在全部四个子集上最佳,覆盖英文与中文、Speech 与 Dialogue 设置。其英文子集宏平均错误率为 5.67%,中文子集为 1.23%,而 HY3.0 ASR Preview 分别为 6.60% 与 1.69%。这一一致领先表明,在不注入外部上下文的情况下,模型在该基准的长篇、多领域、实体丰富语音上具有强整体转写准确率。注意这些结果刻画的是 ASR 专精模型,而不是 realtime 模型的转写行为。

4.2 音频理解

数据构造。 一个分层分类体系覆盖词汇内容、副语言、声学事件、说话人与时序结构、音乐以及音频 grounding 推理。采样控制平衡时长与语言覆盖,同时去除重复与不合适的录音。每条录音先被描述,并映射到其内容支持的能力。这些标注指导一个或多个片段特定问题的构造。随后多个模型独立标注每个音频—问题对,并通过一致性与质量检查合并输出。Figure 4 汇总构造流程。

Figure 4:音频理解训练样本的构造流程。采样控制选择合适的录音。描述与能力标注识别每个音频片段包含的内容以及支持哪些方面。问题构造、多模型标注与一致性过滤随后产生候选训练样本。

数据选择与质量控制。 确定性检查先移除空、截断、畸形或严重重复的输出。随后纯文本 LLM judge 评估 query 与 response 质量,并给出 case-value 分数。Case value 综合 query、response、音频中可用有用信息量(由其标注表示)以及问题的训练价值。这些 judge 不直接评估音频 grounding;grounding 可靠性改由多个模型对同一音频—问题对独立产出的回答一致性来估计。只有高质量、高 case value 且跨模型一致性强的候选才保留为 SFT 候选;广泛有用的样本可进入中期训练,而分歧与可纠正案例被送去重标注或进一步审查。

评测。 我们在八个音频理解基准上评测后训练的对话模型,覆盖音频 grounding 推理、细粒度感知、非语言声学线索与多轮理解。结果见 Table 2;完整的跨能力比较与评测协议见第 8 节。

Table 2:八项音频理解基准及其非加权宏平均。
基准StepAudio 3 RealtimeDoubao 2.0 LiteGemini 3 FlashGemini 3.1 Pro
Big Bench Audio98.198.899.499.6
AudioMultiChallenge49.348.556.667.0
MMSU90.680.077.083.6
MMAU79.077.577.680.5
WildSpeech77.173.974.477.7
MMAR86.575.975.481.7
Step-Caption78.276.867.874.8
MTalk-Bench72.866.866.770.6
宏平均79.074.874.479.4

StepAudio 3 Realtime 在八项基准中的四项领先所报告基线,最大优势在 MMSU(90.6 对 83.6)与 MMAR(86.5 对 81.7),分别高出 7.0 与 4.8 分。它还在 Step-Caption 与 MTalk-Bench 上领先,并在 MMAU 与 WildSpeech 上接近 Gemini 3.1 Pro。相比之下,它在 AudioMultiChallenge 上落后 Gemini 3.1 Pro 17.7 分,而 Big Bench Audio 对所有系统都接近饱和。结果表明模型在口语理解、音频 grounding 推理与非语言声学感知方面具有广泛优势,而在自然多轮音频中维持与修正约束仍是明确的改进空间。

Less is more。 我们做了一项单独消融,只改变 SFT 数据,比较约 200 万随机采样样本与质量控制后保留的约 10 万高质量样本。质量控制集把 MMSU 从 78.78 提升到 89.70,把 MMAR 从 74.70 提升到 84.50;WildSpeech 从 74.20 升到 77.11,而 MTalk-Bench 的 ambient、paralinguistic 与 semantic 三个子集宏平均从 71.73 升到 71.80。尽管只用了约二十分之一的样本,质量控制数据仍带来一致增益,凸显数据质量比原始 SFT 数量更重要。

5 Seamless Duplex:对话话轮管理

全双工对话的核心挑战是判断何时取得、保持或让出话轮。这需要区分未完成话语内部的停顿与话轮结束,以及简短附和与试图打断。解决这些歧义依赖在展开对话语境中解释声学证据 [10,11,27]。

为支持这些决定,StepAudio 3 Realtime 把输入的用户语音、正在进行的模型语音与对话历史整合起来,做上下文感知的话轮管理。Figure 5 展示双流架构以及音频块与交互状态 token 的时间交织。

Figure 5:全双工交互与时间组织。(A) 用户语音、模型侧语音与对话历史共同指导话轮管理。(B) 音频与交互状态沿共享时间轴表示。

5.1 流式交互状态

系统通过 Figure 5 所示的时间交织表示增量跟踪交互状态。音频被组织为 320 ms 块,每块后跟一个状态或文本 token。

声学证据与语义上下文共同指导继续听、开始回应、继续说或让出话轮的决定。模型还利用自身正在进行的语音,在用户当前听到的内容语境中解释重叠的用户话语。

5.2 上下文感知的交互控制

用户话语的对话角色取决于它与正在进行对话的关系 [12]。例如,“right” 既可以是认可模型解释的 backchannel,也可以是更正前的引子。系统同时使用两路音频流与对话历史来解释这些依赖语境的角色,并指导话轮管理决定。

停顿与话轮结束。 系统结合声学时序与语义完整性,区分话轮内停顿与话轮结束。这一区分指导继续听还是开始回应。

Backchannel 与打断。 模型说话期间,用户 backchannel 相对正在进行的回应来解释。简短附和可以表示持续参与而不请求转移话轮,而实质性请求或更正可能表示打断意图。系统利用这一区分决定继续说还是让出话轮。

背景语音拒绝。 对话历史为判断输入语音是否对助手说话提供上下文证据。这一判断决定该语音应纳入当前交流,还是视为无关的背景对话。

5.3 训练

中期训练。 中期训练让模型适应全双工交互使用的时间交织表示。这一阶段结合 streaming ASR、voice activity detection(VAD)与话语完整性流式预测的监督。训练混合包含超过 10,000 小时合成全双工交互数据。文本数据也被纳入,以帮助保留通用语言与推理能力。

后训练。 后训练使用高质量交互数据进一步精修对话行为,覆盖 turn taking、用户 backchannel 处理、打断处理与背景语音拒绝。

5.4 评测

StepAudio 3 Realtime 在 Artificial Analysis(AA)全双工评测中排名第一,Overall 分数 98.9。该评测使用 Full Duplex Bench v1 与 v1.5 的一个子集,评估对话交互的四个方面:pause handling、turn taking、user interruption handling 与 backchannel handling。

如 Table 3 所示,StepAudio 3 Realtime 超过最强基线 Qwen Audio 3.0 Realtime Plus 的 98.4 Overall。单项类别中,StepAudio 3 Realtime 在 turn taking 上达到 100.0,在 user interruption handling 上达到 99.0,pause handling 为 98.9,backchannel handling 为 98.0。

类别级结果凸显全双工交互的两个互补方面:尊重话轮内停顿、在话轮结束时回应;以及容纳用户打断、同时能在 backchannel 中继续。两对能力都表现强劲,说明模型在何时听、说与让出话轮之间取得了平衡的对话控制。

Table 3:全双工交互结果。
能力StepAudio 3 RealtimeGPT-realtime-2 (High)Qwen Audio 3.0 Realtime PlusGrok Voice Think Fast 2.0 High
Pause Handling98.999.398.098.0
Turn Taking100.0100.098.091.0
User Interruption Handling99.095.098.097.0
Backchannel Handling98.086.7100.095.0
Overall98.995.398.495.1

6 对话智能与实时推理

Seamless Duplex 决定模型何时回应;对话智能决定它应如何与用户互动,以及回应需要多少推理。自然的语音助手应跨轮遵循意图、澄清欠明确的目标,并推动对话走向有用结果。常规话轮应避免不必要的深思,复杂请求则应保留可靠回答所需的推理。

StepAudio 3 Realtime 把对话与推理训练同 Think-While-Speaking 结合,后者协调语音回应与正在进行的私有推理。Adaptive Thinking 控制一个话轮是否使用显式推理,MTP 加速降低该推理的解码成本。

6.1 StepAudioChat 基准

StepAudioChat 是一个封闭的文本型基础对话智能基准。它评估对话行为以及通过对话表达的推理。其范围把文本层面的回应质量与韵律、话轮时序、打断处理等语音界面属性隔离开来。该基准提供统一的能力分类体系与新构造题目,以减少对公开测试题的依赖。

6.1.1 能力分类体系

我们把对话能力组织为层级结构,其叶子节点针对具有明确评测边界的可观察行为。公开基准中的任务与代表样例用作覆盖检查,但不复用其测试题。重叠映射帮助细化能力定义,而未映射样例识别覆盖空白。

在每个能力族内,我们还变化约束来源、表达形式及其与其他条件的交互等因素。这暴露出嵌套约束以及必须跨轮保持一致的要求等组合。每道题针对一个主要能力;只有通过验证题目支持的能力才进入评测套件。

6.1.2 自然化题目构造

每道题包含一个对话 prompt、可独立检查的判据、一个有效参考答案,以及一个故意有缺陷的回答。成对回答为评判标准提供正负控制,同时允许多种有效措辞。

来自真实交互的去标识化话语用于指导 prompt 措辞与局部上下文,保留简短、碎片化、口语化措辞与转写噪声。个人实体替换为带类型的占位符。这些话语不提供期望答案或评分标准。除本质上面向特定领域的能力外,场景会被改写到日常设置中,以扩大覆盖范围、超越个别应用。

6.1.3 质量控制与难度校准

结构验证检查 prompt 是否完整且自包含。有效回答必须满足每一条评判标准,有缺陷回答必须至少违反一条。随后语义审计检查前提、参考答案与评判逻辑。自动检查提供广泛覆盖,同时对语义失败与异常案例进行定向人工复核。

难度用两个能力水平不同的参考系统的回答来校准。它们观察到的成功与失败指导 baseline、区分性与困难样例的混合比例。judge 另用有效/缺陷控制与可信标注样本单独校准。这些检查帮助区分能力要求与歧义措辞或不一致评分。

6.2 多轮对话数据

我们训练 StepAudio 3 Realtime 跨轮遵循用户意图与约束、澄清欠明确请求,并让回应适应对话上下文。对话与推理样本联合训练支持对困难请求的深思,以及对常规话轮的简洁回应。训练样本覆盖多样主题、persona 与交互长度。开放式请求可以允许多种有效回答,而不要求唯一规范措辞。Figure 6 汇总支持这些目标的多轮对话样本构造管线。

因子化构造。 生成沿四个轴进行:主题及其具体讨论点;规定角色、背景与交互风格的参与者 persona;话轮深度;以及上下文回忆、逻辑推理与指令使用等目标能力。分层轮换计划在主题内协调这些选择,使覆盖超出其全局边缘分布。

话轮深度是显式构造变量。更长对话通过更深入地推进讨论点来展开,使后续话轮能够细化约束、解决歧义、重访证据或改变方向,同时与历史保持一致。

质量评估与路由。 质量控制把三类关注点分成独立阶段。第一,context–query 审查评估对话历史的深度与信息量、开场是否自包含、最终 query 是否实质且与前文恰当连接。第二,当能力被注入最终话轮时,能力特定审查检查 query 是否实例化每个所需能力,以及回答是否真正满足其要求。第三,response 审查评估答案质量、persona 与风格一致性,以及作为口语对话的自然度。

Figure 6:多轮对话训练样本的构造流程:讨论点选择、案例规划、自博弈、最终轮问题构造与标注。

确定性检查处理空输出、畸形 token、严重重复与角色混淆等缺陷。只有通过这些检查并在三个质量控制阶段都获得高分的样本才保留用于监督微调;其他样本全部拒绝。

推理模型评测。 我们在 reasoning 模式下按 StepAudioChat 的八个维度评测 StepAudio 3。该评测隔离模型的对话与推理能力;这里只关注其对话结果。本小节的结果直接评测 reasoning 模式模型。相比之下,第 8 节的整体比较评测 realtime 系统,它还会应用 Think-While-Speaking、Adaptive Thinking 与 MTP 加速,如 6.3 节所述。Table 4 比较 reasoning checkpoint 与对话基线。

Table 4:reasoning 模式下的对话与推理评测。
能力维度StepAudio 3 Realtime (Reasoning)Doubao 2.0 LiteDeepSeek-V4-FlashKimi K3
Instruction Following66.372.971.468.9
Faithfulness72.467.575.378.4
Reasoning73.072.764.881.9
Memory72.071.371.577.6
Knowledge73.159.971.678.6
Safety & Reliability79.075.979.984.8
Conversational Pragmatics67.261.562.970.3
Persona & Role Consistency80.982.673.676.5
宏平均73.070.571.477.1

StepAudio 3 取得 73.0 的宏平均,高于 Doubao 2.0 Lite 的 70.5 与 DeepSeek-V4-Flash 的 71.4,但低于 Kimi K3 的 77.1。它在 reasoning、memory、knowledge、conversational pragmatics 以及 persona and role consistency 上排名第二。Kimi K3 在八个维度中的六个领先,包括 reasoning 81.9、memory 77.6、safety and reliability 84.8,而 Doubao 2.0 Lite 在 instruction following 与 persona and role consistency 上领先。这些类别级差异表明,强总体推理并不意味着在指令遵循或角色一致性上必然更强。

6.3 Think-While-Speaking

Think-While-Speaking 协调 StepAudio 3 Realtime 中的实时推理。它建立在 Mind-Paced Speaking [17] 的双过程设计之上。对同一音频模型的两个并发调用分别充当 Formulation Brain 与 Articulation Brain。Formulation Brain 生成私有推理轨迹;Articulation Brain 以目前可用的推理与已经说出的回应为条件,产生短回应片段。

Playback-aware scheduling 根据流式输出音频的播放进度释放回应片段,同时 formulation 并行继续。formulation 完成后,剩余回应可以使用完整推理状态。最终 continuation 可以补充或纠正从不足推理开始给出的答案。系统默认使用 Speak-First,不等待初始推理前缀就开始回应;Think-First 则先等待一小段推理前缀再开始回应。

Adaptive Thinking 控制一个话轮是否使用显式推理。对于使用显式推理的话轮,MTP 加速加快私有思考流,沿用减少串行目标模型步数的 speculative 与 multi-token decoding 方法 [29–32]。这些机制共同协调推理投入、解码效率与语音播报。

6.3.1 Adaptive Thinking

动机。 不同对话话轮值得不同的深思预算。显式推理消耗解码算力,并可能延迟常规回应。Adaptive Thinking 旨在减少不必要推理,同时在能从深思中获益的话轮上保留推理。

推理选择策略。 Adaptive Thinking 在 assistant turn 级别构造监督。对于每个话轮,我们收集对话上下文、目标答案、原始推理轨迹与任务类型特征。一个固定的 probe model 在没有 adaptive-thinking 数据变换的条件下训练,它接收空的 think block,并在 no-think 条件下重新生成答案。

盲 judge 在不知道哪个是哪个的情况下,按目标答案给原始轨迹与 no-think 轨迹打分,并标注推理是否改变了答案质量。这种成对判断提供主要证据;重复判断之间的一致性、推理轨迹与其产生答案之间的连贯性,以及任务类型先验,共同决定推理监督保留得有多保守。

在每个领域内,被标为 reasoning-unnecessary 的话轮是替换候选;每个领域的 no-think 比例预算决定取多少,其余话轮保留原始推理。与其均匀花费预算,我们按细粒度 topic 分层保留,并限制每个能力内的下降比例,避免推理密集型能力被不成比例地削减监督。

Adaptive Thinking 评测。 Table 5 在 StepAudioChat 上比较三种配置,覆盖八个能力类别的 46 个基准成员。Direct SFT 与 forced no-think 共享基线权重,只是在推理时启用或禁用显式推理。Adaptive Thinking 使用单独训练的模型,因此其比较还包含训练效应。

Figure 7:StepAudio 3 Realtime 实时思考概览。Adaptive Thinking 把每个话轮路由到即时回应或深思回应,MTP 加速则加快深思话轮所使用的私有思考。
Table 5:Adaptive Thinking 消融。
领域Direct SFT Think RateDirect SFT ScoreForced No-Think RateForced No-Think ScoreAdaptive Think RateAdaptive Score
Instruction Following100.064.150.061.9860.062.12
Faithfulness100.072.350.070.6379.272.42
Reasoning100.071.890.060.5259.566.80
Memory100.067.990.063.8651.565.99
Knowledge100.074.590.068.6580.471.55
Safety and Reliability100.078.460.074.9556.977.90
Dialogue Pragmatics100.063.590.062.4158.965.87
Persona and Role Consistency100.077.170.068.8082.074.62

在每个类别内,分数与 think rate 是基准成员的非加权平均。评测使用 temperature zero 且无 system prompt。

Adaptive Thinking 在八个类别中的显式推理触发率为 51.5% 到 82.0%。Full thinking 相对 forced no-think 的最大增益出现在 Reasoning(11.37 分),其次是 Persona and Role Consistency(8.37 分)与 Knowledge(5.94 分)。相对于 Direct SFT,Adaptive Thinking 把 Dialogue Pragmatics 从 63.59 提升到 65.87,但把 Reasoning 从 71.89 降到 66.80。

类别触发率暴露了选择策略的局限。Reasoning 的 think rate 为 59.5%,尽管它从 full thinking 中获益最多;Faithfulness 的 think rate 更高,为 79.2%,但从 full thinking 只获得 1.72 分增益。因此,仅凭更低的思考频率并不能证明推理被分配给了获益最大的话轮。这些总体比较也不能确定单个话轮的最优决定。

6.3.2 用 MTP 加速私有推理

Adaptive Thinking 减少显式推理被调用的频率。为降低剩余私有思考的解码成本,我们使用带三个预测头的 MTP3,在每个目标模型步草拟最多三个未来 token [31,32]。

严格验证遵循目标模型的标准 speculative-decoding 规则。Medusa 式 typical acceptance 使用熵自适应置信阈值,接受严格验证可能拒绝的合理草稿 token。这提高接受率,同时允许生成分布发生变化。1.05 的 repetition penalty 抑制重复 token,降低宽松接受下出现重复循环的风险。我们对私有推理应用 typical acceptance 与 repetition penalty,而对说出口的回应保留严格验证。

MTP 评测。 Table 6 报告 StepAudioChat 分数、每个目标模型步接受的草稿 token 数,以及 MTP3 与 MTP5 的实际耗时加速。所有配置使用 1.05 的 repetition penalty。测量保留各自评测的聚合与运行时设置。所测试的 MTP 配置相对基线提升 Reasoning 与 Memory,而 Instruction Following 下降。

Table 6:MTP 评测。
领域基线MTP3MTP3 (Medusa)MTP5MTP5 (Medusa)
Instruction Following64.1561.2162.7161.2562.73
Faithfulness72.3572.2970.4672.4972.03
Reasoning70.7674.3073.7473.1472.73
Memory67.9969.2968.9770.8571.36
Knowledge74.5975.0775.3475.3174.33
Safety & Reliability81.4181.0781.5981.2381.17
Conversational Pragmatics63.5966.0463.1766.2266.15
Persona & Role77.1777.9975.9277.1977.56
每步接受草稿数01.2311.8011.3532.153
实际耗时加速1.00×1.76×2.05×1.49×1.72×
Table 7:各草拟位置的边际接受率。
深度验证方式Head 1Head 2Head 3Head 4Head 5
MTP3严格65.0%37.2%20.8%N/AN/A
典型接受82.4%58.2%39.4%N/AN/A
MTP5严格63.7%35.5%19.6%10.7%5.7%
典型接受80.6%55.7%37.6%24.9%16.4%

在 typical acceptance 下,MTP5 每步接受的草稿多于 MTP3(2.153 对 1.801)。Table 7 显示两种深度下前三个头的接受率相近。第四、第五个头增加被接受草稿,但其严格边际接受率分别降到 10.7% 与 5.7%。因此额外头在每步接受草稿上带来递减收益。接受率本身不决定净效率,后者还取决于推理长度与解码成本;因此所报告的实际耗时比例不应被解释为草稿深度的受控比较。对说出口的输出保留严格验证,并不能消除私有推理不完整所导致的错误。

6.4 用模型合并整合能力

专长教师训练。 我们从共同基座训练多个兼容的教师 checkpoint,每个教师使用不同的数据配比。混合数据强调互补能力,包括多轮对话、音频理解、通用文本推理与知识,以及定向混合域行为。这样得到的教师各自在能力空间的不同区域较强,同时保留参数对齐以便合并。

加权参数合并。 我们直接平均专长教师的参数来整合它们。对于教师参数 θi\theta_i,合并模型为 θmerge=∑iαiθi\theta_{\mathrm{merge}} = \sum_i \alpha_i \theta_i,其中 αi≥0\alpha_i \ge 0 且 ∑iαi=1\sum_i \alpha_i = 1。系数控制每个教师的贡献,并依据覆盖对话、音频理解与通用文本能力的留出评测选择。所报告模型使用四个教师,归一化权重为 3:1:1:1。由于整合发生在参数空间,它既不会引入额外模型组件,也不会引入推理期路由。

能力整合。 加权合并意在保留互补优势,而不是让合并模型在每项指标上都与最佳教师相同。因此评测同时考虑能力特定分数与整体平衡。这也允许教师数据混合独立开发,再重新组合,而无需在全部数据的并集上重训单一模型。

模型合并结果。 Table 8 比较四个专长教师及其加权合并在音频理解、通用文本与对话上的表现。Dialogue 结果在 reasoning 模式下测量。音频理解上,合并模型达到 79.0 的宏平均,与最佳教师宏平均持平,并在 MMAU 与 WildSpeech 上领先。通用文本上,它取得最高宏平均 76.5,在 HMMT 2026 Feb 与 GPQA Diamond 上最佳,并在 MultiChallenge 上持平。对话上,其宏平均为 73.0,超过 Teacher 2、3、4,但仍低于最强对话教师 74.2。这些结果支持把模型合并作为组合互补能力的低成本机制,同时表明它提供的是平衡折中,而非对每个专长教师的全面超越。这些测量评测底层推理模型,与额外使用上述实时推理机制的系统级评测分开。

Table 8:模型合并的能力比较。
领域基准合并模型Teacher 1Teacher 2Teacher 3Teacher 4
Audio UnderstandingBigBench Audio98.196.198.198.498.5
AudioMultiChallenge49.349.149.850.247.6
MMSU90.689.589.590.490.9
MMAU79.078.578.877.877.7
WildSpeech77.176.576.475.976.1
MMAR86.585.486.487.386.5
Step-Caption78.275.878.379.679.4
MTalk-Bench72.871.772.072.370.7
Macro Average79.077.878.779.078.4
General TextHMMT 2026 Feb86.844.082.281.379.8
GPQA Diamond83.073.181.980.180.1
MultiChallenge59.754.651.350.659.7
Macro Average76.557.271.870.773.2
DialogueInstruction Following66.364.264.569.364.2
Faithfulness72.474.065.667.173.6
Reasoning73.075.267.067.267.8
Memory72.073.470.068.371.5
Knowledge73.175.163.762.075.6
Safety & Reliability79.079.275.775.678.0
Conversational Pragmatics67.267.862.463.464.5
Persona & Role80.984.779.576.983.0
Macro Average73.074.268.668.772.3

7 全双工 Voice Agent

StepAudio 3 Realtime 把全双工交互能力扩展到以工具为 grounding 的任务执行。模型根据每个请求的要求,在直接回应、轻量工具调用与异步后端执行之间选择。异步执行允许较长任务与对话并行推进,使用户可以在工作进行时询问进度或补充要求。

7.1 请求路由与澄清

模型直接处理常规对话与关于稳定知识的问题。对最新公开信息的请求被路由到天气查询或网页搜索等轻量工具。涉及私有上下文、多步处理或超出当前对话话轮的工作,则交给后端。这一路由策略决定是否以及如何调用外部能力,借鉴了工具增强语言建模的先前工作 [33,34]。

语法完整的短语仍可能让口语请求不完整或可被修改。口语回应可以在后续片段中扩展或显式更正,而工具执行需要足够明确的意图与参数。因此,在承诺外部行动之前,模型被训练通过向用户澄清或使用合适工具检索上下文来收集缺失信息,并获得任何必要确认。

7.2 异步执行期间的对话

后端任务异步执行,对话同时继续。执行期间,用户可以请求进度更新、提供额外要求或切换到另一话题。模型被训练把与任务相关的用户输入与正在进行的任务关联起来,同时将其与无关对话区分开。结果可用后,它们被纳入对话上下文,以指导后续语音回应。

对于复杂请求,推理支持约束求解与任务规划,而工具与后端输出提供实际完成情况的证据。这些证据指导后续推理与行动,符合 ReAct [35] 的交错交互模式。Think-While-Speaking 支持深思期间的语音回应,异步执行则允许外部任务执行期间对话继续。

7.3 面向对话式工具使用的训练

训练结合定向 voice-agent 对话与真实多步 agent 轨迹。定向对话覆盖请求路由、澄清、私有上下文检索、有后果行动前的确认、执行时更新、进度查询与结果报告。这些对话训练模型把关于私有信息与已完成工作的主张 grounded 在用户提供的上下文或工具返回的证据上。负样本抑制不必要的工具调用与没有依据的成功执行声明。

多步轨迹通过让模型接触更长的推理与工具使用序列来补充这些对话。我们过滤并规范化这些轨迹,重点关注 tool-call 结构、参数一致性、证据 grounding 以及是否适合口语交互。

7.4 评测

我们使用 τ\tau-Voice [36] 的 Artificial Analysis(AA)实现评测 StepAudio 3 Realtime。该基准评估全双工口语交互中具有挑战性的对话与声学条件下的工具 grounding 任务完成,包括用户修改请求的打断、backchannel 与多样背景噪声。这些条件要求 agent 跟踪演化中的请求,并协调口语交互与工具使用。基准覆盖 airline、retail 与 telecom 领域的客服任务,任务成功由最终数据库状态是否匹配目标状态决定。我们报告每个领域的任务成功率及其等权宏平均。

如 Table 9 所示,StepAudio 3 Realtime 取得 56.0% 的宏平均任务成功率,接近 Grok 的 56.5%,高于 Qwen 的 54.6% 与 GPT 的 45.7%。分领域看,StepAudio 3 Realtime 在受评模型中取得最高 telecom 分数 70.2%,超过 Grok 6.5 个百分点;airline 分数 60.0%,与最高报告值 62.0% 相差 2.0 个百分点以内。retail 表现仍有提升空间,为 37.7%,而 Grok 为 49.7%。总体而言,StepAudio 3 Realtime 在端到端任务完成上具有竞争力,telecom 分数为受评模型最高,airline 分数接近最佳报告结果。

Table 9:τ\tau-Voice 任务完成结果。
领域StepAudio 3 RealtimeGrok Voice Think Fast 2.0 HighQwen Audio 3.0 Realtime PlusGPT-Realtime-2.1 High
Airline60.056.061.362.0
Retail37.749.749.045.6
Telecom70.263.753.529.4
Macro Average56.056.554.645.7

8 评测

我们沿六个能力域评测 StepAudio 3 系列:语音识别、音频理解、对话与推理、全双工交互、agentic 任务完成与通用文本。这些领域共同测量从识别话语到理解其上下文、管理话轮并完成外部任务的进展。我们先介绍基准与对比模型,再分析各领域结果。

8.1 基准

ASR 基准及其任务特定设置已在 4.1.2 节随 ASR 模型与结果介绍;以下段落覆盖其余评测领域。

音频理解。 我们使用 Big Bench Audio [37]、MMSU [38]、MMAU [39]、MMAR [40]、WildSpeech-Bench [41]、AudioMultiChallenge [42]、Step-Caption [43] 与 MTalk-Bench [44],覆盖音频 grounding 推理、细粒度感知与多轮理解。

对话与推理。 StepAudioChat 覆盖基础对话智能的八个维度,其构造见 6.1 节。

全双工交互。 我们使用 Full Duplex Bench v1 与 v1.5 的 Artificial Analysis 子集 [36],覆盖 pause handling、turn taking、user interruptions 与 backchannels。

Agentic 任务完成。 τ\tau-Voice [36] 的 Artificial Analysis 实现评估 airline、retail 与 telecom 环境中的工具 grounding 客服任务。

通用文本。 HMMT February 2026 [45]、GPQA Diamond [46] 与 MultiChallenge [47] 分别评估竞赛数学、科学问答与多轮对话可靠性。

8.2 基线

ASR 上,我们对比 Doubao 2.0 ASR、Seed 2.0 Lite [48] 与 HY3.0 ASR Preview [49]。所有 ASR 基线都在与 StepAudio 3 ASR Max 相同的评测设置下重跑,使用相同测试音频与评分流程。音频理解上,我们使用 Doubao 2.0 Lite [48]、Gemini 3 Flash [50] 与 Gemini 3.1 Pro [51]。对话基线包括 Doubao 2.0 Lite、DeepSeek-V4-Flash [52] 与 Kimi K3 [53]。通用文本使用 Doubao 2.0 Lite 与 Gemini 3 Flash。

全双工基线为 GPT-realtime-2 (High) [54]、Qwen Audio 3.0 Realtime Plus [55] 与 Grok Voice Think Fast 2.0 High [56]。Agentic 评测使用相同的 Qwen 与 Grok 变体,并以 GPT-Realtime-2.1 High [57] 替换 GPT-realtime-2。模型版本与 effort 标签遵循相应评测记录。

8.3 评测协议与指标

以下约定适用于 Table 10 的主要比较。所有分数均以 0–100 表示,越高越好;ASR 错误率是例外,其定义见 4.1.2 节。

ASR 评分协议随 4.1.2 节的 ASR 结果给出;以下段落覆盖非 ASR 领域。

音频理解。 我们保留每个基准报告的准确率或归一化评测分数。Step-Caption 使用基于 judge 的评分,对照标注的说话人属性,样本分数在评测集上平均 [43]。MTalk-Bench 条目把 Semantic、Paralinguistic Information 与 Ambient Sound 三个部分平均为单一聚合值。

对话与推理。 每个 StepAudioChat 维度是其通过验证的能力线分数的非加权平均。我们同时报告 reasoning 模式结果与 realtime Think-While-Speaking 结果;组件消融分数不用于填充这些条目。

全双工交互。 类别分数衡量满足相应交互标准的样本百分比 [36]。我们使用来源报告的 Overall 分数,保留基准的聚合方式,而不是对四个展示类别分数取平均。

Agentic 任务完成。 当最终数据库状态匹配目标时,τ\tau-Voice 任务成功。领域任务成功率在有条件时平均三次试验,报告的宏平均对 Airline、Retail 与 Telecom 等权 [36]。

通用文本。 我们分别报告 HMMT February 2026、GPQA Diamond 与 MultiChallenge 的记录准确率百分比。MultiChallenge 使用实例特定 rubric 评估回答 [47]。三个基准之间不取平均。

8.4 结果

在所报告的能力域上,StepAudio 3 Realtime 把广泛音频理解与强对话、推理和交互控制结合起来。它在八项音频理解基准中的四项领先,宏平均达到 79.0,与 Gemini 3.1 Pro 相差 0.5 分以内。最明显的增益出现在 MMSU 与 MMAR,而领先的 Step-Caption 与 MTalk-Bench 结果表明其优势超越词汇内容,覆盖说话人属性、副语言线索、环境声与多轮音频上下文。在 reasoning 模式下,StepAudio 3 在 StepAudioChat 上达到 73.0 宏平均,高于 Doubao 2.0 Lite 与 DeepSeek-V4-Flash,低于 Kimi K3,在 reasoning、memory、knowledge、conversational pragmatics 与 persona consistency 上尤其有竞争力。在实时交互中,StepAudio 3 Realtime 在 StepAudioChat 上达到 70.41 宏平均,与 Doubao 2.0 Lite 的 70.5 和 DeepSeek-V4-Flash 的 71.4 相当。结合 Think-While-Speaking,这表明模型能够在产生语音的同时深思,并保持与专用推理模型相当的对话与推理表现,而不是只提供低延迟的表面回应。这一能力与稳健的对话时序相配。模型在 Full Duplex Bench 上以 98.9 Overall 排名第一,其中 turn taking 100.0、interruption handling 99.0,同时在 pauses 与 backchannels 上保持强劲。这一平衡画像表明它能够保持对话流畅,而不会把每一个用户声音都当作打断。Agentic 与通用文本结果进一步显示工具使用与文本能力的扎实表现。模型在 τ\tau-Voice 上达到 56.0,接近最佳报告的 56.5,并以 86.8 领先 HMMT,尽管 GPQA Diamond 与 MultiChallenge 仍低于 Gemini 3 Flash。

Table 10:能力评测汇总。
评测域 / 基准StepAudio 3 Realtime对比模型
音频理解(分数 ↑)
基准StepAudio 3 RealtimeDoubao 2.0 LiteGemini 3 FlashGemini 3.1 Pro
Big Bench Audio98.198.899.499.6
AudioMultiChallenge49.348.556.667.0
MMSU90.680.077.083.6
MMAU79.077.577.680.5
WildSpeech77.173.974.477.7
MMAR86.575.975.481.7
Step-Caption78.276.867.874.8
MTalk-Bench72.866.866.770.6
Macro Average79.074.874.479.4
对话与推理(分数 ↑)
基准StepAudio 3 Realtime (Interactive)Doubao 2.0 Lite (Reasoning)DeepSeek-V4-Flash (Reasoning)Kimi K3 (Reasoning)
Instruction Following54.172.971.468.9
Faithfulness71.967.575.378.4
Reasoning73.672.764.881.9
Memory71.871.371.577.6
Knowledge70.459.971.678.6
Safety and Reliability75.175.979.984.8
Conversational Pragmatics68.261.562.970.3
Persona and Role Consistency78.382.673.676.5
Macro Average70.470.571.477.1
通用文本(准确率 ↑)
基准StepAudio 3 RealtimeDoubao 2.0 LiteGemini 3 Flash—
HMMT 2026 Feb86.873.985.9–
GPQA Diamond83.082.490.3–
MultiChallenge59.760.868.1–
全双工(分数 ↑)
基准StepAudio 3 RealtimeGPT-realtime-2 (High)Qwen Audio 3.0 Realtime PlusGrok Voice Think Fast 2.0 High
AA Full-Duplex Bench98.995.398.495.1
Agentic(成功率 ↑)
基准StepAudio 3 RealtimeGrok Voice Think Fast 2.0 HighQwen Audio 3.0 Realtime PlusGPT-Realtime-2.1 High
τ-Voice56.056.554.645.7

9 结论

StepAudio 3 Realtime 把感知、对话时序、推理与工具使用带入连续的语音交互。它允许深思与外部任务和对话并行推进,新的用户输入与返回证据持续指导后续回应。评测显示强音频理解与话轮管理,同时也揭示推理与工具使用任务上的差异。Adaptive Thinking 降低显式推理频率,但对答案质量的影响并不均匀。多轮约束处理与 retail 任务完成仍是改进空间。这些发现推动更有效的推理投入分配,以及在长对话中更可靠的任务执行。

贡献者

作者按名字首字母的字母顺序排列。 Bin Lin, Bo Zhao, Boyang Zhang, Boyong Wu, Chao Yan, Chen Geng, Chen Wu, Cheng Yi, Chengli Feng, Chenglin Zhu, Chengting Feng, Chengyuan Yao, Daijiao Liu, DanNi Wan, Daxin Jiang, Dongjian Li, Dongqing Pang, Fei Tian, Feng Tian, Future Li, Gang Yu, Guanglong Yang, Haoyang Zhang, Hongyuan Wang, Jia Peng, Jiahao Song, Jialong Xue, Jiamin Fan, Jiangjie Zhen, Jianzheng Gao, Jincheng Wen, Jinghua Liang, Jinglan Gong, Jun Chen, Li Xie, Liang Zhao, Lifang Zhang, Lingli Ji, Lun Cai, Min Xu, Peilin Li, Peng Yang, Pengfei Tan, Qingjian Lin, Qinxin Du, Ruijie Xiong, Runze Li, Shenghua Hu, Shengqian Qin, Shi Qiu, Siqi Tu, Siyi Zhou, Tianjiao Deng, Wanying Lu, Weiming Niu, Wen Sun, WenWen Qu, Xiangyu Zhang, Xianwei Zhang, Xiaosu Su, Xing Chen, Xinyu Liu, Xuerui Yang, Yan Wu, Yang Li, Yang Yang, Yechang Huang, Yibo Zhu, Yifan Zhang, Yinuo Yan, Youjun Chen, Yu Fu, Yu Luo, Yu Zhou, Yujie Chen, Yumang Wang, Yunzhou Ju, Yuxiang Yang, Yuxin Li, Yuxin Zhang, Zekai Liu, Zengwei Yao, Zhaoxin Yuan, Zhenwei Mou, Zhiquan Zhang, Zhiyue Wu, Zichao Li, Zichao Zhou, Ziqi Ren, Zixuan Wang,

参考文献

参考文献保留原始书目信息与顺序;正文中的编号可直接跳转到对应条目。

  1. Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. In International conference on machine learning, pages 28492–28518. PMLR, 2023.
  2. Ye Bai, Jingping Chen, Jitong Chen, Wei Chen, Zhuo Chen, Chuang Ding, Linhao Dong, Qianqian Dong, Yujiao Du, Kepan Gao, et al. Seed-asr: Understanding diverse speech and contexts with llm-based speech recognition. arXiv preprint arXiv:2407.04675, 2024.
  3. Qingjian Lin, Yuxin Li, Haoyang Zhang, Jun Chen, Yechang Huang, Feng Tian, Xie Li, Xiangyu Tony Zhang, Daijiao Liu, Yuxin Zhang, Jinglan Gong, Bo Zhao, Fei Tian, Xuerui Yang, Gang Yu, Xiangyu Zhang, and Daxin Jiang. ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition. arXiv preprint arXiv:2607.29279, 2026. URL https://arxiv.org/abs/2607.29279.
  4. Zalán Borsos, Raphaël Marinier, Damien Vincent, Eugene Kharitonov, Olivier Pietquin, Matt Sharifi, Dominik Roblek, Olivier Teboul, David Grangier, Marco Tagliasacchi, et al. Audiolm: a language modeling approach to audio generation. IEEE/ACM transactions on audio, speech, and language processing, 31:2523–2533, 2023.
  5. Changli Tang, Wenyi Yu, Guangzhi Sun, Xianzhao Chen, Tian Tan, Wei Li, Lu Lu, Zejun Ma, and Chao Zhang. Salmonn: Towards generic hearing abilities for large language models. In International Conference on Learning Representations, volume 2024, pages 16607–16629, 2024.
  6. Heeseung Kim, Soonshin Seo, Kyeongseok Jeong, Ohsung Kwon, Soyoon Kim, Jungwhan Kim, Jaehong Lee, Eunwoo Song, Myungwoo Oh, Jung-Woo Ha, et al. Paralinguistics-aware speech-empowered large language models for natural conversation. Advances in Neural Information Processing Systems, 37:131072–131103, 2024.
  7. Boyong Wu, Chao Yan, Chen Hu, Cheng Yi, Chengli Feng, Fei Tian, Feiyu Shen, Gang Yu, Haoyang Zhang, Jingbei Li, et al. Step-audio 2 technical report. arXiv preprint arXiv:2507.16632, 2025.
  8. Jin Xu, Zhifang Guo, Hangrui Hu, Yunfei Chu, Xiong Wang, Jinzheng He, Yuxuan Wang, Xian Shi, Ting He, Xinfa Zhu, et al. Qwen3-omni technical report. arXiv preprint arXiv:2509.17765, 2025.
  9. Xiong Wang, Yangze Li, Chaoyou Fu, Yunhang Shen, Lei Xie, Ke Li, Xing Sun, and Long Ma. Freeze-omni: A smart and low latency speech-to-speech dialogue model with frozen llm. arXiv preprint arXiv:2411.00774, 2024.
  10. Alexandre Défossez, Laurent Mazaré, Manu Orsini, Amélie Royer, Patrick Pérez, Hervé Jégou, Edouard Grave, and Neil Zeghidour. Moshi: a speech-text foundation model for real-time dialogue. arXiv preprint arXiv:2410.00037, 2024.
  11. Donghang Wu, Haoyang Zhang, Chen Chen, Tianyu Zhang, Fei Tian, Xuerui Yang, Gang Yu, Hexin Liu, Nana Hou, Yuchen Hu, et al. Chronological thinking in full-duplex spoken dialogue language models. In Proceedings of the 27th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 473–485, 2026.
  12. Haoyang Zhang, Jun Chen, Donghang Wu, Yuxin Li, Yuxin Zhang, Xiangyu Tony Zhang, Che Liu, Qingjian Lin, Yizhou Peng, Hexin Liu, et al. Duplexsla: A full-duplex spoken language model with synchronized speech, language, and action. arXiv preprint arXiv:2605.20755, 2026.
  13. Ailin Huang, Boyong Wu, Bruce Wang, Chao Yan, Chen Hu, Chengli Feng, Fei Tian, Feiyu Shen, Jingbei Li, Mingrui Chen, et al. Step-Audio: Unified Understanding and Generation in Intelligent Speech Interaction. arXiv preprint arXiv:2502.11946, 2025. URL https://arxiv.org/abs/2502.11946.
  14. Fei Tian, Xiangyu Tony Zhang, Yuxin Zhang, Haoyang Zhang, Yuxin Li, Daijiao Liu, Yayue Deng, Donghang Wu, Jun Chen, Liang Zhao, et al. Step-audio-r1 technical report. arXiv preprint arXiv:2511.15848, 2025.
  15. Yuxin Zhang, Xiangyu Tony Zhang, Daijiao Liu, Fei Tian, Yayue Deng, Jun Chen, Qingjian Lin, Haoyang Zhang, Yuxin Li, Jinglan Gong, et al. Step-audio-r1. 5 technical report. arXiv preprint arXiv:2604.25719, 2026.
  16. Bin Lin, Bo Zhao, Boyong Wu, Chao Yan, Chen Wu, Cheng Yi, Chengyuan Yao, Daijiao Liu, Fei Tian, Feng Tian, et al. Stepaudio 2.5 technical report. arXiv preprint arXiv:2605.23463, 2026.
  17. Donghang Wu, Haoyang Zhang, Jun Chen, Hexin Liu, Eng Siong Chng, Fei Tian, Xuerui Yang, Xiangyu Zhang, Daxin Jiang, Gang Yu, et al. Mind-paced speaking: A dual-brain approach to real-time reasoning in spoken language models. arXiv preprint arXiv:2510.09592, 2025.
  18. StepFun. Step 3.7 flash. https://huggingface.co/stepfun-ai/Step-3.7-Flash, 2026. Official model card.
  19. Daniel S Park, William Chan, Yu Zhang, Chung-Cheng Chiu, Barret Zoph, Ekin D Cubuk, and Quoc V Le. Specaugment: A simple data augmentation method for automatic speech recognition. arXiv preprint arXiv:1904.08779, 2019.
  20. Jonathan G Fiscus. A post-processing system to yield reduced word error rates: Recognizer output voting error reduction (rover). In 1997 IEEE workshop on automatic speech recognition and understanding proceedings, pages 347–354. IEEE, 1997.
  21. Hexin Liu, Haoyang Zhang, Qiquan Zhang, Xiangyu Zhang, Dongyuan Shi, Eng Siong Chng, and Haizhou Li. Code-Switching Speech Recognition Under the Lens: Model- and Data- Centric Perspectives. IEEE Transactions on Audio, Speech and Language Processing, 34: 1853–1865, 2026. doi: 10.1109/TASLPRO.2026.3675776.
  22. Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: an asr corpus based on public domain audio books. In 2015 IEEE international conference on acoustics, speech and signal processing (ICASSP), pages 5206–5210. IEEE, 2015.
  23. Hui Bu, Jiayu Du, Xingyu Na, Bengu Wu, and Hao Zheng. Aishell-1: An open-source mandarin speech corpus and a speech recognition baseline. In 2017 20th conference of the oriental chapter of the international coordinating committee on speech databases and speech I/O systems and assessment (O-COCOSDA), pages 1–5. IEEE, 2017.
  24. Binbin Zhang, Hang Lv, Pengcheng Guo, Qijie Shao, Chao Yang, Lei Xie, Xin Xu, Hui Bu, Xiaoyu Chen, Chenchen Zeng, et al. Wenetspeech: A 10000+ hours multi-domain mandarin corpus for speech recognition. In ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 6182–6186. IEEE, 2022.
  25. He Wang, Linhan Ma, Dake Guo, Xiong Wang, Lei Xie, Jin Xu, and Junyang Lin. ContextASR-Bench: A Massive Contextual Speech Recognition Benchmark. arXiv preprint arXiv:2507.05727, 2025. URL https://arxiv.org/abs/2507.05727.
  26. Che Liu, Lichao Ma, Xiangyu Tony Zhang, Yuxin Zhang, Haoyang Zhang, Xuerui Yang, and Fei Tian. Boosting Omni-Modal Language Models: Staged Post-Training with Visually Debiased Evaluation. arXiv preprint arXiv:2605.12034, 2026. URL https://arxiv.org/abs/2605.12034.
  27. Qingkai Fang, Shoutao Guo, and Yang Feng. Bayling-duplex: Native full-duplex speech dialogue with a single autoregressive llm. arXiv preprint arXiv:2606.14528, 2026.
  28. Yayue Deng, Guoqiang Hu, Haiyang Sun, Xiangyu Zhang, Haoyang Zhang, Fei Tian, Xuerui Yang, Gang Yu, and Eng Siong Chng. Multi-bench: A multi-turn interactive benchmark for assessing emotional intelligence ability of spoken dialogue models. arXiv preprint arXiv:2511.00850, 2025.
  29. Charlie Chen, Sebastian Borgeaud, Geoffrey Irving, Jean-Baptiste Lespiau, Laurent Sifre, and John Jumper. Accelerating large language model decoding with speculative sampling. arXiv preprint arXiv:2302.01318, 2023.
  30. Yaniv Leviathan, Matan Kalman, and Yossi Matias. Fast inference from transformers via speculative decoding. In International conference on machine learning, pages 19274–19286. PMLR, 2023.
  31. Tianle Cai, Yuhong Li, Zhengyang Geng, Hongwu Peng, Jason D Lee, Deming Chen, and Tri Dao. Medusa: Simple llm inference acceleration framework with multiple decoding heads. arXiv preprint arXiv:2401.10774, 2024.
  32. Fabian Gloeckle, Badr Youbi Idrissi, Baptiste Rozière, David Lopez-Paz, and Gabriel Syn- naeve. Better & faster large language models via multi-token prediction. arXiv preprint arXiv:2404.19737, 2024.
  33. Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Eric Hambro, Luke Zettlemoyer, Nicola Cancedda, and Thomas Scialom. Toolformer: Language models can teach themselves to use tools. Advances in neural information processing systems, 36: 68539–68551, 2023.
  34. Shishir G Patil, Tianjun Zhang, Xin Wang, and Joseph E Gonzalez. Gorilla: Large language model connected with massive apis. Advances in Neural Information Processing Systems, 37: 126544–126565, 2024.
  35. Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. React: Synergizing reasoning and acting in language models. arXiv preprint arXiv:2210.03629, 2022.
  36. Artificial Analysis. Speech to speech benchmarking methodology, 2026. URL https://artificialanalysis.ai/methodology/speech-to-speech-benchmarking/.
  37. Artificial Analysis. Evaluating audio reasoning with big bench audio. Hugging Face Blog, 2024. URL https://huggingface.co/blog/big-bench-audio-release.
  38. Dingdong Wang, Junan Li, Jincenzi Wu, Dongchao Yang, Xueyuan Chen, Tianhua Zhang, and Helen Meng. Mmsu: A massive multi-task spoken language understanding and reasoning benchmark. In International Conference on Learning Representations, volume 2026, pages 31374–31410, 2026.
  39. Sakshi Sakshi, Utkarsh Tyagi, Sonal Kumar, Ashish Seth, Ramaneswaran Selvakumar, Oriol Nieto, Ramani Duraiswami, Sreyan Ghosh, and Dinesh Manocha. Mmau: A massive multi- task audio understanding and reasoning benchmark. In International Conference on Learning Representations, volume 2025, pages 84929–84964, 2025.
  40. Ziyang Ma, Yinghao Ma, Yanqiao Zhu, Chen Yang, Yi-Wen Chao, Ruiyang Xu, Wenxi Chen, Yuanzhe Chen, Zhuo Chen, Jian Cong, et al. Mmar: A challenging benchmark for deep reasoning in speech, audio, music, and their mix. Advances in Neural Information Processing Systems, 38, 2026.
  41. Linhao Zhang, Jian Zhang, Bokai Lei, Chuhan Wu, Aiwei Liu, Wei Jia, and Xiao Zhou. Wildspeech-bench: Benchmarking end-to-end speechllms in the wild. arXiv preprint arXiv:2506.21875, 2025.
  42. Advait Gosai, Tyler Vuong, Utkarsh Tyagi, Steven Li, Wenjia You, Miheer Bavare, Arda Uçar, Zhongwang Fang, Brian Jang, Bing Liu, et al. Audio multichallenge: A multi-turn evaluation of spoken dialogue systems on natural human interaction. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 35740–35770, 2026.
  43. StepFun. Step-caption: Benchmark and evaluation protocol, 2026. URL https://github.com/stepfun-ai/Step-Audio-R1/tree/main/benchmarks/Step-Audio-R1.5/step_caption.
  44. Yuhao Du, Qianwei Huang, Guo Zhu, Zhanchen Dai, Shunian Chen, Qiming Zhu, Le Pan, Minghao Chen, Yuhao Zhang, Li Zhou, et al. Mtalk-bench: Evaluating speech-to-speech models in multi-turn dialogues via arena-style and rubrics protocols. arXiv preprint arXiv:2508.18240, 2025.
  45. HMMT. Archive of february 2026, 2026. URL https://www.hmmt.co/www/archive/292.
  46. David Rein, Betty Li Hou, Asa Cooper Stickland, Jackson Petty, Richard Yuanzhe Pang, Julien Dirani, Julian Michael, and Samuel R Bowman. Gpqa: A graduate-level google-proof q&a benchmark. arXiv preprint arXiv:2311.12022, 2023.
  47. Kaustubh Deshpande, Ved Sirdeshmukh, Johannes Baptist Mols, Lifeng Jin, Ed-Yeremai Hernandez-Cardona, Dean Lee, Jeremy Kritz, Willow E Primack, Summer Yue, and Chen Xing. Multichallenge: A realistic multi-turn conversation evaluation benchmark challenging to frontier llms. In Findings of the Association for Computational Linguistics: ACL 2025, pages 18632–18702, 2025.
  48. ByteDance Seed. Seed2.0, 2026. URL https://seed.bytedance.com/en/seed2.
  49. Tencent Cloud. Intelligent Subtitles: Hy ASR 3.0 Preview Integration, 2026. URL https://cloud.tencent.cn/document/product/862/135605.
  50. Google DeepMind. Gemini 3 Flash Model Card, 2025. URL https://deepmind.google/models/model-cards/gemini-3-flash/.
  51. Google DeepMind. Gemini 3.1 Pro Model Card, 2026. URL https://deepmind.google/models/model-cards/gemini-3-1-pro/.
  52. DeepSeek. DeepSeek-V4-Flash Update, 2026. URL https://api-docs.deepseek.com/updates/#deepseek-v4-flash-update.
  53. Moonshot AI. Kimi K3: Open Frontier Intelligence, 2026. URL https://github.com/MoonshotAI/Kimi-K3.
  54. OpenAI. GPT-Realtime-2, n.d.. URL https://developers.openai.com/api/docs/models/gpt-realtime-2.
  55. Alibaba Cloud. Speech-to-Speech Models, n.d. URL https://docs.qwencloud.com/developer-guides/speech/s2s-models.
  56. SpaceXAI. Introducing Grok Voice Think Fast 2.0, 2026. URL https://x.ai/news/grok-voice-think-fast-2.
  57. OpenAI. GPT-Realtime-2.1, n.d.. URL https://developers.openai.com/api/docs/models/gpt-realtime-2.1.

LLM WIKI · CONTEXT READER

AI 论文解读

DeepSeek V4 Flash

Enter 发送 · Shift + Enter 换行 · Esc 关闭