全双工语音交互(Full-Duplex)
用户与模型在同一时间轴上同时听、说,并在线决定接话、让出话轮或打断的语音交互范式。
全双工语音交互(Full-Duplex Speech Interaction)指系统不必等用户说完、也不必等自己说完,就能持续接收输入并流式输出语音。它同时维护两条音频流:
- 用户流:用户的语音、停顿、附和、插话、背景人声。
- 模型流:模型正在播放或准备播放的语音。
两条流共享同一个时间轴和对话上下文。系统在每个时刻判断:继续听、开始说、继续说、让出话轮,还是把当前语音当作背景噪声忽略。
与之相对,半双工系统一次只允许一方说话:用户说完 → ASR 出文本 → LLM 生成 → TTS 播放;播放期间系统通常不监听,或只做简单的打断检测。
- 自然对话本来就会重叠:真实交谈包含停顿、附和(“嗯”“对”)、抢话、自我纠正和背景对话。只按“说完—回答”的轮次建模,会把丰富的交互信号压扁成文本 QA。
- 延迟不再只由首包决定:全双工系统可以在用户还没说完时开始准备回应,也可以在自己说话时继续听;体验取决于话轮决策、打断恢复和语音衔接,而不只是 TTS 的首包毫秒数。
- 多模态上下文更完整:声学线索(语气、语速、情绪、停顿)与词面内容一起进入决策;同一句“对”可能是附和,也可能是纠错的开头。
- 工具调用需要异步共存:当后端任务执行较慢时,系统仍应继续对话、接受补充要求或播报进度;这要求“说”和“做”并行,而不是阻塞式级联。
一个典型的全双工系统包含四个耦合环节:
1. 双流表示
Section titled “1. 双流表示”用户音频与模型音频被编码到同一序列或同一时间网格。常见做法包括:
- 显式双流:两条音频流分别 token 化,按时间交错建模(如 Moshi 的用户流/模型流)。
- 块级交错:把音频切成固定长度块(例如 StepAudio 3 Realtime 的 320 ms),每块后跟一个交互状态 token 或文本 token。
- 状态机 + 音频流:用小模型预测 VAD、turn-state、backchannel 等状态,再由主模型决定生成时机。
2. 话轮管理(Floor Management)
Section titled “2. 话轮管理(Floor Management)”系统需要区分至少四类边界:
| 现象 | 需要判断 |
|---|---|
| 句内停顿 | 用户只是思考,还是已经说完? |
| Backchannel | “嗯/对”是继续听,还是想接话? |
| 打断 | 用户是在纠正/补充,还是只是背景对话? |
| 背景语音 | 这句话是对助手说,还是对旁人/另一设备说? |
判断依据通常包括:声学证据(能量、韵律、停顿长度)、语义完整性、对话历史,以及模型自身正在播放的内容。
3. 生成与播放调度
Section titled “3. 生成与播放调度”模型流式生成语音片段,播放器按音频时钟消费。关键约束是:
- 因果性:生成不能依赖未来的用户语音(除非明确允许 lookahead)。
- 可打断性:用户插话时,模型要能停止当前播放、丢弃未播放片段,并决定是否接续。
- 衔接自然:让出话轮、恢复说话、附和与重叠都应有合适的韵律和停顿,而不是硬切。
全双工能力不能只用 WER 或 RTF 衡量。常见维度包括:
- turn-taking:该接话时接、该停时停;
- pause handling:不把句内停顿误判为结束;
- interruption handling:被插话后能正确停止、理解并恢复;
- backchannel handling:短附和既不抢话也不被忽略;
- task success:在工具型任务中,话轮正确是否最终转化为任务完成。
- 级联语音助手阶段:ASR → LLM → TTS,靠 VAD 与 endpoint detection 切轮次;全双工主要通过“打断即停止播放”实现,系统并不真正持续监听。
- 双流语音模型阶段:Moshi 用用户/模型两条音频流 + Inner Monologue,把重叠、停顿和 backchannel 直接放进训练序列;Freeze-Omni、DuplexSLA 等工作进一步探索低延迟双工与同步语音-文本建模。
- 流式状态预测阶段:X2-Turn 一类工作用双头模型同时做流式 ASR 与 turn-state prediction,把“是否说完/是否打断”作为显式预测目标。
- 统一实时循环阶段:StepAudio 3 Realtime 把深度感知、无缝双工、边说边想和流式工具调用组织成 listen–converse–think–act 循环,并在 320 ms 音频块上交错交互状态;全双工从“能打断”扩展为“能持续管理对话floor + 异步执行任务”。
- “全双工 = 低延迟级联”:不是。级联系统即使首包很快,播放时通常也不持续理解用户语音;全双工要求双向流同时存在。
- “全双工 = 随时可以打断”:可打断只是必要条件。系统还要区分句内停顿、backchannel、实质性打断和背景语音。
- “全双工分数高 = 任务能力强”:话轮控制与任务完成是两种能力。StepAudio 3 Realtime 在 Full-Duplex Bench 上 98.9,但 τ-Voice retail 任务成功率只有 37.7,说明“会接话”不等于“把事办成”。
- “双流就是把两路音频拼在一起”:拼接只是表示层;还需要话轮状态、训练目标、播放调度与打断恢复策略。
- “说话重叠越少越自然”:真实对话存在适度重叠和附和;完全无重叠可能意味着系统过于保守,反而显得迟钝。
- “benchmark 的 turn-taking 分数可以跨论文直接比较”:不同 benchmark 的样本、标注、聚合方式与“正确话轮”的定义不同,必须核对版本与协议。
与相邻概念的区别
Section titled “与相邻概念的区别”| 概念 | 与全双工语音交互的关系 |
|---|---|
| 流式语音合成 | 只负责“边生成边播放”的输出侧;全双工还要持续听、判断话轮和处理打断 |
| 自动语音识别(ASR) | 提供词面转写;全双工还需要声学线索、语用判断与话轮状态 |
| LALM(大型音频语言模型) | 全双工系统通常以 LALM 为骨干,但 LALM 本身不一定具备双流与话轮管理 |
| Think-While-Speaking(边说边想) | 解决“推理不能阻塞开口”;全双工解决“何时听、何时说、何时让出” |
| Voice Agent | 关注工具调用与任务执行;全双工关注对话层的并发与话轮控制,两者可组合 |
| 语音活动检测(VAD) | 只判断有无语音;全双工还要判断谁在说、对谁说、是否说完了 |
- 资料摘要:StepAudio 3 Realtime — 320 ms 块级双流、Deep Perception 与 Seamless Duplex
- 资料摘要:Moshi — 用户/模型双音频流 + Inner Monologue 的全双工先驱
- 资料摘要:X2-Turn — 流式 ASR 与 turn-state prediction 的双头建模
- 资料摘要:Qwen2.5-Omni — Thinker-Talker 流式全模态语音系统
- 流式语音合成 — 输出侧的增量生成与延迟分解
- 自动语音识别(ASR) — 输入侧的转写、VAD 与上下文偏置
- LALM(大型音频语言模型) — 全双工系统的常见骨干
- Think-While-Speaking(边说边想) — 推理与语音播放的并行调度
- 音频理解基准 — 理解能力与交互能力的评测边界
- Wiki 目录