摘要
全双工语音交互需要的不仅仅是将一个完整的话语转换为另一个。 系统必须在语音到达时对其进行处理,决定何时发言或让出发言权,并在用户打断时停止,同时保留预先训练的语言能力和声学副语言线索。 我们询问 TASTE 是否为实现这一目标提供了可行的建模路径。 我们提出了 TASTE2,它将原始话语级 TASTE 方法转换为增量对话堆栈。 共享文本 token词汇消除了 Speech Tokenizer、Spoken LM 和 Speech Detokenizer 之间的词级平均,而模态对齐的对话训练为每个文本 token预测一个连续的 audio latent,而无需交错异构标记流。 增量 Speech Detokenizer 可以通过 CosyVoice2 进行流合成。 经过语音和对话训练后,以 Qwen2.5-7B Instruct 纯文本模型的 57.3% 为参照,TASTE2(Merge)在 LLaMA-Questions 上达到 56.3%(准确率保留 98.2%),TASTE2(直接)达到 53.0%(92.4% 保留)。 我们还构建了 TASTE2 VoiceBot,这是一个工作研究系统,可以增量处理用户语音,流式传输合成音频,并在用户插入时停止生成。在 Full-Duplex-Bench v1.0 上,TASTE2 可以很好地处理用户中断,同时保持较高的对话连贯性。 自然对话仍然具有挑战性,在 TensorRT 加速后,在两个 NVIDIA RTX A6000 上部署的平均首次音频时间仍然为 2.701 s。 我们在基于 TASTE 的模型中首次系统地描述了显式副语言控制。
简介
自然语音交互不仅限于将话语映射到响应。 对话系统必须解释语言内容和副语言提示,检测何时发言,并在用户打断时停止或修改其响应。 全双工对话系统(例如 Moshi (Défossez et al. 2024)、SALMONN-omni (Yu et al. 2024) 和 Freeze-Omni (X. Wang et al. 2024))通过连续双向处理(包括轮流、反向通道和插入处理)来追求这些功能,并使用 Full-Duplex-Bench (Lin et al. 2025) 等基准进行评估。 有两种紧张因素使这一目标变得困难。
首先,添加语音表示会削弱从预训练语言模型 (Cui et al. 2025; Défossez et al. 2024) 继承的语言能力。 文本预训练在文本 token之间建立规律性。 将这些标记与面向声学的代码交错会迫使模型以相同的顺序表示语言内容和声学实现,这可能会破坏预训练期间学到的模式。 现有系统通过 Moshi 的内部独白解码、Freeze-Omni 的多任务训练或大规模联合训练来减轻这种影响,但保留文本模型能力仍然是一个悬而未决的问题。 成本与序列声学信息所占的比例成正比。 具体来说,Mini-Omni (Xie and Wu 2024) 的并行解码流仅保留 29.7% 的文本模型基准精度,Moshi 的多个码本流保留 83.1%,而 TASTE2 的序列与文本序列一样长,保留 98.2%(§5.1)。
其次,系统集成以模块化和信息保存为代价。 端到端模型联合优化语音理解、响应生成和合成 (Zeng et al. 2024; Yu et al. 2024),允许副语言信息在模型中流动,但在操作上耦合组件。 模块化 ASR–LLM–TTS 管道允许每个组件独立改进,但其纯文本界面在这些提示影响响应 (Yang et al. 2026; J. Liu et al. 2025) 之前就丢弃了韵律、情感和说话风格。 实用的架构应该保留相关的声学信息,同时又不放弃模块化部署。
TASTE (Text-Aligned Speech Tokenization and Embedding) (Tseng et al. 2026) 提供了一个有用的起点。 它将一种语音表示与每个文本 token对齐,将语言内容与声学实现分开,同时避免联合文本语音建模中常见的序列长度不匹配。 然而,其最初的实现并不是为增量对话而设计的。 基于 Whisper 的 Speech Tokenizer 和 LLaMA 分词器使用不同的词汇表,因此 TASTE 对词级边界上的表示进行平均。 此操作可能会丢弃细粒度信息,需要依赖于语言的分段,并使对话模板变得复杂。 此外,它的合成堆栈对完整的话语进行操作,而不是增量操作。 TASTE 也没有评估其对齐表示是否支持轮流、中断处理或显式副语言控制。
我们推出了 TASTE2,这是一个模型系列和部署架构,它将文本对齐的语音建模建立为实现全双工语音交互的可行路径。 中心表示包含两个对齐的信息流。 离散文本 token携带语言内容,而连续音频 latent携带声学信息。 TASTE2 在整个标记化、语言建模和综合过程中保留了这种区别。 我们做出五项贡献:
- 将 TASTE 端到端改编为增量对话堆栈。 共享文本 token词汇消除了词级平均,模态对齐对话训练预测每个文本 token一个连续的 audio latent,而无需交错异构标记流,并且增量 Speech Detokenizer 可以实现流合成。
- 语义保留,无需序列膨胀。 通过严格保持文本长度的序列,TASTE2(合并)成功保留了其绝大多数底层文本的推理准确性。 此外,分析 TASTE2(Direct) 表明性能限制源于指令调整集成,而不是连续语音建模本身。
- 据我们所知,这是基于 TASTE 的模型中显式副语言控制的首次系统表征。 对话 SFT 后,快速语速可作为跨策略概念证明,而情绪控制则依赖于策略,其余属性保持较弱。
- 工作部署。 TASTE2 VoiceBot 增量处理用户语音,决定何时发言,传输合成音频,并在用户插话时停止。
- 全双工会话能力。 TASTE2 和 TASTE2 VoiceBot 在 Full-Duplex-Bench v1.0 上展示了对用户中断的即时响应能力,同时随后保持高度的对话连贯性。
总之,这些贡献将 TASTE 从话语级口语建模转移到实现的对话系统,并提供证据证明其对齐表示是进一步全双工开发的实用基础。 他们还概述了仍有待解决的问题,因为主动重叠行为尚未部署,自然对话交互并不均匀强大,语音生成延迟仍然很大,并且明确的副语言控制在属性之间不一致。
TASTE2 将文本对齐语音建模与增量对话部署连接起来。 我们回顾了语音 token化和联合文本语音建模(2.1 节)、全双工架构和轮流(2.2 节)以及副语言控制和适应(2.3 节)。
语音 token化和口语语言模型
从级联到联合建模
传统的 ASR–LLM–TTS 级联允许每个组件独立优化。 然而,由于只有文本跨越它们的界面,情感、韵律和语速等副语言线索无法影响语言模型 (Yiming Chen et al. 2024; B. Wang et al. 2025)。 GSLM (Lakhotia et al. 2021; Nguyen et al. 2023) 表明,语言模型可以直接从离散的自监督单元生成连贯的语音,而 AudioLM (Borsos et al. 2023) 通过级联语义和声学标记流将其扩展为长格式音频延续。 随后的工作将语音嫁接到预训练文本 LLMs 上。 SpeechGPT (D. Zhang et al. 2023) 和 AudioPaLM (Rubenstein et al. 2023) 通过跨模式指令调整实现这一点,而 Qwen-Audio (Chu et al. 2023) 和 SALMONN (Tang et al. 2024) 使用编码器适配器接口。 这些努力将联合文本语音建模确立为主导范式,尽管最终的模型是否保留底层文本模型的语义能力仍然是核心的悬而未决的问题。
语音 token化
口语模型运行的表示很大程度上决定了语义能力的存活程度。 SoundStream (Zeghidour et al. 2022) 和 EnCodec (Défossez et al. 2022) 等声学标记器使用残差矢量量化进行高保真度重建,但它们的代码针对信号保真度而不是语言内容进行了优化,产生的标记序列很长且与文本松散相关。 从 HuBERT (Hsu et al. 2021) 等自监督模型派生的语义标记器携带更多语言信息,但丢弃了表达合成所需的声学细节。 混合设计试图跨越两者。 SpeechTokenizer (X. Zhang et al. 2024) 将语义信息提取到第一个 RVQ 层,CosyVoice (Du, Chen, et al. 2024; Du, Wang, et al. 2024) 以 ASR 目标监督令牌,GLM-4-Voice (Zeng et al. 2024) 从 ASR 编码器派生超低比特率标记器。 然而,所有这些都会以与文本 token生成器解耦的速率生成标记流,从而留下语言模型必须吸收的长度不匹配。
模态集成策略
鉴于这种不匹配,系统会以不同的方式解决它。 有一些直接在序列中混合文本和语音 token。 SpiritLM (Nguyen et al. 2025) 在词级交错,Moshi (Défossez et al. 2024) 通过内部独白机制预测音频之前的时间对齐文本,Qwen2.5-Omni (Xu et al. 2025) 通过 Thinker-Talker 分割路由两者,Mini-Omni (Xie and Wu 2024) 采用并行解码流来同时发送文本和音频,而 百川音频 (T. Li et al. 2025) 以交错的方式生成文本和音频令牌。 其他人则用规模来吸收由此产生的模态混乱。 GLM-4-Voice (Zeng et al. 2024) 在 1 万亿代币上进行训练,Kimi-Audio (Ding et al. 2025) 在 13 百万小时的音频上进行训练。 另一个小组通过限制重新训练的内容来回避这个问题。 Freeze-Omni (X. Wang et al. 2024) 保持 LLM 冻结,仅需要 60K 样本,LLaMA-Omni (Fang, Guo, et al. 2025; Fang, Zhou, et al. 2025) 将流式语音解码器附加到冻结主干,在少得多的语音数据上保持与 GLM-4-Voice 的竞争。
解决语义退化问题
Think Before You Talk (Cui et al. 2025) 直接诊断故障。 将语音 token混合到上下文中会稀释文本预训练期间获得的语言模式,因此其 TurnGuide 方法会在语音之前发出轮级文本引导以进行补偿,从而消除轮次内的模态交错,以保留自然交互所需的精确时间对齐。TASTE (Tseng et al. 2026) 通过使用基于注意力的聚合为每个文本 token构建一个语音表示,从根源上解决了不匹配问题。 尽管如此,它的词汇对齐的词级平均仍然丢弃了细粒度的声学细节,并且需要特定于语言的分段规则,这限制了多语言扩展。 TASTE2 通过在其组件之间共享一个文本 token词汇来消除单词级平均。 其模态对齐目标为每个文本 token预测一个连续的 audio latent,因此它不需要沿标记轴进行额外的交错。
全双工对话系统
在这样的模型之上构建双工系统迫使第二个权衡,与代币化问题正交。 端到端联合训练让信息在听和说之间自由流动,但将每种能力耦合到一组权重中,而管道以上述边界损失为代价,使组件可以单独优化。 最近的调查 (Yuxuan Chen and Yu 2025; Ji et al. 2024) 沿着这个轴组织最终的设计空间,区分模块化系统中的工程同步和端到端学习的同步。
端到端架构
Moshi (Défossez et al. 2024) 是第一个演示实时全双工对话、并行建模用户和系统流的产品,但其紧密耦合使得各个组件很难单独改进。 SyncLLM (Veluri et al. 2024) 通过交错两个扬声器的固定持续时间块,为标准自回归 LLM 提供挂钟时间感,预测用户的块以掩盖网络延迟。 OmniFlatten (Q. Zhang et al. 2025) 将用户和代理语音和文本扁平化为单个序列,并逐步删除训练阶段的文本流以减少延迟。 SALMONN-omni (Yu et al. 2024) 完全避免了离散编解码器,在连续嵌入上运行,因此模型可以监听自己的输出以进行回声消除。 NTPP (Q. Wang et al. 2025) 和 SALM-Duplex (Hu et al. 2025) 相反利用双通道录音,前者通过与说话人无关的下一个令牌对预测,后者通过预训练流编码器的通道融合。 这两个系统的构建都是为了减轻这种负担,而不是为这种与更重的语音域训练数据的耦合优化付费。 SALMONN-omni 使用更少的训练数据来匹配或超越之前的全双工系统,而 SALM-Duplex 完全跳过语音预训练,显着降低了其数据需求。
轮流和中断
预测何时说话有着独立于生成模型的悠久历史。 TurnGPT (Ekstedt and Skantze 2020) 根据词汇上下文预测回合完成情况,语音活动投影 (Ekstedt and Skantze 2022) 直接从音频中学习两个说话者近期的语音活动,支持实时反向通道和回合转移决策。 Talking Turns (Arora et al. 2025) 将这一视角应用于现代音频基础模型,发现它们存在缺陷、误判时机、积极打断且很少进行反向引导,这些证据表明端到端训练本身并不能提供有效的转弯管理。 Full-Duplex-Bench (Lin et al. 2025) 将此诊断转化为标准测量,直接对暂停处理、反向通道和中断进行评分,其 v1.5 扩展 (Lin et al. 2026) 添加了重叠场景和韵律适应,FD-Bench (Peng et al. 2025) 的目标是频繁中断下的鲁棒性。 TASTE2 VoiceBot走模块化路线。 由于 TASTE2 将音频潜伏与文本 token对齐,因此组件可以交换两种形式的信息并在文本 token级别做出转弯边界决策。 部署的系统增量处理用户语音,在检测到语音结束后开始普通响应,并在播放期间支持用户打断。
副语言控制与适应
副语言控制
一项工作为模型提供了明确的样式命令并测量其是否符合要求。 GLM-4-Voice (Zeng et al. 2024) 将情感、语调和语速暴露给自然语言指令,因此用户可以要求代理放慢速度或听起来愉快,模型只需执行该请求。 VStyle (Zhan et al. 2026) 以语音而非文本形式发出指令,并报告称当前模型在可控风格适应方面面临明显的局限性。 它的四个类别中的三个,即声学属性、自然语言教学和角色扮演,明确地陈述了目标,而第四个类别则要求隐含的同理心,因此已经从未陈述的线索中进行了推理。 SpeechParaling-Bench (R. Liu et al. 2026) 进一步扩大了覆盖范围,在细粒度控制、话语内变化和上下文感知适应等方面测试了 100 副语言功能,并发现即使是前沿模型也无法达到一致的控制。 这种风格遵循表明模型可以根据请求呈现交付。 当用户什么都不说出时,它几乎没有说明模型是否可以选择一个。
副语言适应
第二行删除了命令,因此模型必须从用户语音中携带的副语言线索推断出适当的风格,包括情感、韵律、语速和说话者属性。 ProsodyLM (Qian et al. 2025) 表明,这种感知可以通过仅对单词级韵律标记进行预训练而产生,没有任何指令将模型引导至情感或对比焦点。 TELEVAL (Z. Li et al. 2025) 认为,对于会话代理来说,这是最重要的功能,它可以从用户语音中提取线索,并在没有被告知的情况下做出适当的响应。 适应也会影响响应内容,而不仅仅是传递,因为听起来很痛苦的用户需要不同的词语以及更温和的语气。 EMO-Reasoning (J. Liu et al. 2025) 涵盖了各个回合的情感案例,对扩展对话中情感转变的连贯性进行评分,而 ParaS2S (Yang et al. 2026) 对回合内更广泛的副语言契合度进行评分,判断响应是否与其输入的内容和风格相匹配,并通过强化学习在波形级别优化契合度。 EchoMind (Zhou et al. 2026) 直接隔离内容与交付的区别。 它的任务是保持文字记录固定,仅改变声音风格,这表明模型可以感知副语言线索,而无需将其转化为适当适应的反应。
本报告的实证范围是对话微调后的显式副语言控制,并辅以预微调探测 Spoken LM 是否可以继续语音开场中已存在的功能。 我们不评估隐式副语言适应,这仍然是未来的工作。
TASTE2 模型与训练
TASTE2 建立在 TASTE (Tseng et al. 2026) 的基础上,并修改了其增量对话架构的三个方面:单词级平均、跨组件的词汇和话语级合成(§3.1.1)。
TASTE2 引入了对齐的文本 token空间 (§3.1.2) 和通过 CosyVoice2 (§3.1.3) 的增量合成。 然后,对话微调会教授 TASTE2 Spoken LM 转弯边界和中断模式(§3.3.3)。
图 1 显示了三个模型组件。 Speech Tokenizer 为每个文本 token提取一个连续的 audio latent。 TASTE2 Spoken LM 自回归预测对齐的文本 token – audio-latent 对。 Speech Detokenizer 将这些对映射到 S3 单元,冻结的 CosyVoice2 流匹配模型和声码器将其转换为音频。 训练分三个阶段进行:表示学习、Spoken LM 预训练和对话微调。
TASTE2 架构。 Speech Tokenizer 使用冻结的 Distil-Whisper 编码器来提取与文本 token对齐的连续音频潜伏。 TASTE2 Spoken LM 自回归预测文本-标记 – audio-latent 对。 Speech Detokenizer 将每一对映射到 S3 单元,冻结的 CosyVoice2 流匹配模型和声码器增量地合成这些单元。 基于注意力的聚合器从Whisper的解码器初始化,Spoken LM从Qwen2.5-7B初始化,Speech Detokenizer的流匹配模型从Qwen2.5-0.5B初始化; Residual VQ 是随机初始化的。
模型架构
原始 TASTE 架构
TASTE (Tseng et al. 2026) 使用文本对齐语音 token化进行联合文本-语音口语建模。 该框架由三个组件组成:Speech Tokenizer,由编码器、基于注意力的聚合器和残差向量量化器组成; 由S3单元解码器和声码器组成的Speech Detokenizer; 和文本对齐口语模型(TASLM)。 端到端的交叉注意力机制在令牌级别建立文本和语音 token之间的一一对应关系。 它使用来自 ASR 编码器隐藏状态的软对齐提示将多个音频帧聚合为文本对齐的语音 token。 在训练期间,词级平均将 Speech Tokenizer 和 Speech Detokenizer 词汇表连接到下游 Spoken LM 词汇表。 TASLM 使用预训练的 LLaMA 文本语言模型作为其骨干,并应用低秩适应。 它将对齐的文本 token序列作为输入并自回归生成文本语音 token对。
TASTE 对字边界进行平均,因此其 Speech Tokenizer 和 Spoken LM 使用不同的文本 token边界进行操作,对话模板和标记级回合边界决策需要在它们之间进行转换。 原始的合成堆栈基于 CosyVoice (Du, Chen, et al. 2024),仅在接收到完整的话语后才产生音频。 TASTE2 更改了词汇表、标记对齐和合成时序,如下所述。
对齐的代币空间
TASTE 在其基于 Whisper 的 Speech Tokenizer 和 LLaMA 主干中使用不同的词汇,并在两个序列之间进行词级平均。
TASTE2 在整个模型中改为使用 Spoken LM 分词器。 因此,Speech Tokenizer、TASTE2、Spoken LM 和 Speech Detokenizer 共享相同的文本 token词汇,不再需要词级平均。 我们的实现使用 Spoken LM 的 Qwen2.5-7B 系列主干(基础或指令调整,取决于指令跟踪初始化策略;§3.3.2),并采用 CosyVoice2 (Du, Wang, et al. 2024) 中的 Qwen2.5-0.5B 文本到 S3 架构作为 Speech Detokenizer。
我们的实现修改了 Distil-Whisper 的架构。 编码器保持冻结状态并保留其预训练权重。 解码器的输入嵌入层被替换为 Spoken LM 标记化词汇并随机初始化。 语言建模头被移除,解码器将连续嵌入直接输出到残差向量量化器(RVQ)。 该训练配置没有添加单独的初始化方案或预热策略。
Speech Tokenizer、Spoken LM 和 Speech Detokenizer 使用相同的 LM 分词器,每个文本分词对应一个 audio latent。 因此,标准文本对话模板中的每个位置都包含一个文本 token及其对齐的声学表示,因此不需要沿着标记轴进行额外的交错。
支持流输出
增量对话需要在完整响应可用之前开始综合。 TASTE2 重用 CosyVoice2 流管道 (Du, Wang, et al. 2024),其中包含文本到 S3 模型,以 25 Hz 生成 S3 单元,块感知因果流匹配模型以 50 Hz 生成梅尔频谱图,声码器生成音频波形。
我们只训练 Speech Detokenizer 并让它学习将对齐的文本 token和 audio-latent 对从 TASTE2 Spoken LM 映射到 CosyVoice2 S3 空间。 为了启用流式传输,它通过为每个 5 输入对生成 15 S3 单元来处理块输入,从而无需等待完整的话语即可合成音频。 下游流匹配模型和声码器继承自 CosyVoice2 并保持冻结状态。
数据处理
数据采集
三个训练阶段使用不同的数据。 阶段 1 和 2 使用大型语音语料库进行表示学习和 Spoken LM 预训练。 阶段 SFT 使用包含回合转换、中断和副语言指令的会话数据。
遵循TASTE的数据收集策略,我们使用两个数据集进行预训练。 Emilia 数据集 (He et al. 2024) 提供了 40,000 小时的野外英语语音,带有伪标记转录,包括背景噪声、混响和多说话者条件。 LibriTTS 数据集 (Zen et al. 2019) 提供 600 小时的阅读式语音以及人工注释的转录。 这些数据集总计大约 40,600 小时的训练数据。
阶段 SFT 对话微调使用两个数据源。 DeepDialogue 数据集包含 37,000 多轮对话(223,673 轮次,总计 466 小时),跨越 41 领域(例如客户服务、技术支持和休闲对话),带有 20 情感标签(例如快乐、沮丧和同理心)。 这些对话是由九个大型语言模型的集合生成的,然后是人工注释和质量过滤。 每个对话都是使用相关情感标签通过 TTS 系统合成的。
我们还生成了 106,507 个合成对话(共 557,770 个轮次,总计 1,027 小时),分为两类:用于全双工交互建模的一般对话数据(48,000 个对话、388,021 个轮次、778 小时)和副语言控制数据(58,507 个对话、169,749 个轮次、249 小时)。前者包含打断场景,后者包含显式的副语言控制标注。生成流程详见下一小节。
表 1 总结了训练数据。 阶段 1 和 2 使用 40,600 小时的语音数据。 阶段 SFT 使用 143,507 对话,包括 781,443 回合和 1,493 小时的语音:来自 DeepDialogue 的 466 小时和来自合成对话数据的 1,027 小时。 Stage SFT 数据包括轮流、中断和副语言控制注释。
TABLE 1
| 舞台 | 数据集 | 对话 | 转弯 | 持续时间(小时) |
|---|---|---|---|---|
| 舞台 1 和 2 | 艾米莉亚 | – | – | 40,000 |
| LibriTTS | – | – | 600 | |
| 小计 | – | – | 40,600 | |
| 舞台 SFT | 深度对话 | 37,000 | 223,673 | 466 |
| 一般对话 | 48,000 | 388,021 | 778 | |
| 副语言控制 | 58,507 | 169,749 | 249 | |
| 小计 | 143,507 | 781,443 | 1,493 |
综合数据生成策略
自然发生的对话语料库很少提供明确的中断边界和受控的副语言注释。 因此,我们用 1,027 小时的合成数据来补充 DeepDialogue:778 小时的带有轮流转换和中断的一般对话,以及 249 小时的带有显式副语言控制的对话。
一般对话数据。我们使用六步流程合成这些数据:(1) 使用 GPT-4o 模型生成场景;(2) 使用 Llama-3.3-70B 为每个场景生成 5 段对话,每段包含 6–10 个轮次;(3) 使用 GPT-4o 重写其中一部分,加入用户打断;(4) 插入犹豫、填充词和语句重启;(5) 使用 GPT-4o 作为评审筛选对话;(6) 使用 CosyVoice2 合成保留的对话,得到最终音频数据。我们从 50 位公开参考说话人中取样,并使用 CosyVoice2 的指令跟随模式改变输出风格。所得数据包含语义边界处的打断、Assistant 回复期间的话题变化、自发语音中的不流畅现象,以及 User 和 Assistant 轮次中的不同情绪。
副语言控制数据。 我们使用四步管道来合成此数据(1)使用 GPT-4o 模型生成场景,(2)将 Llama-3.3-70B 用户轮流与 GPT-4o 助理轮流交替,每个场景产生大约 5 个 10 轮次对话,(3)过滤 与 GPT-4o 法官的对话,并且 (4) 将它们与 IndexTTS 合成。 在此数据中,用户请求改变说话风格,助理以随机选择的轮次使用请求的情绪继续对话。 Synthesis 还使用与一般对话数据相同的 50 参考说话者池和 IndexTTS 的情感向量模式来强化注释的情感。
对于使用 GPT-4o 过滤数据管道的步骤,GPT-4o 根据六个标准对从 1 到 5 的每个对话进行评分:角色和场景依从性、语言自然性和多样性、情感和速度标签放置、格式、插入重叠和不流畅的连贯性以及没有无关的舞台方向。 我们将六个评分相加,并保留每个场景中得分最高的三个对话。
培训方法
TASTE2 培训分为三个阶段。 阶段1联合训练Speech Tokenizer和Speech Detokenizer以建立audio-latent空间。 阶段 2 将预训练的文本语言模型调整为 TASTE2 Spoken LM 和 LoRA,训练它来预测对齐的文本 token - audio-latent 对。 阶段 SFT 对对话数据上的 Spoken LM 进行微调(§3.3.3)。
这两种训练配置的不同之处在于如何引入指令跟随 (IF) 功能 (§3.3.2)。 方法1(基础合并 SFT)从Qwen2.5-7B开始阶段2,并通过阶段SFT之前的模型合并转移IF能力。 方法2(指令 SFT)直接从Qwen2.5-7B-指令启动阶段2,并且不执行模型合并。
口语模型预训练
阶段 1 和 2 遵循 TASTE 训练程序。 1 阶段联合训练 Speech Tokenizer 从音频中提取语音表示,并联合训练 Speech Detokenizer 从配对的文本 token和语音表示重建音频(图 1)。 在2阶段,语言模型从Approach 1的Qwen2.5-7B和Approach 2的Qwen2.5-7B-Instruct初始化。 两种配置都使用相同的基于 LoRA 的微调目标来生成对齐的文本 token和音频潜伏(图 1)。
残差矢量量化。 在 Spoken LM 训练期间,audio-latent 损失使用残差向量量化器 (RVQ) 合成的 final latent 作为目标,而不是量化索引序列。 RVQ 位于 Speech Tokenizer 解码器和 audio-latent 目标之间。 5.2 部分报告了具有和不具有 RVQ 的配置之间的比较。
模态一致的训练策略。 TASTE2 以文本 token速率将文本和音频维持为配对通道。 每个输入位置通过加权和将文本 token嵌入与其对齐的 audio-latent 嵌入相结合。 潜在元素不会作为附加序列元素插入。 对于自回归生成,音频目标会移动一个位置,以便在其对应的 audio latent 之前预测文本 token。 文本 token和音频潜伏分别作为内容和声学实现的预测目标。
遵循指令的初始化策略
方法 1 通过将指令跟踪任务向量传输到预训练的 Spoken LM 主干,在阶段 2 后引入 IF 功能。 这种任务向量算法不需要额外的训练数据或在合并步骤进行计算。 然后,合并的模型将用作阶段 SFT 的初始化检查点。
任务向量合并。 我们通过将语言模型权重张量与完整的 Spoken LM 状态字典隔离,从预训练的 Spoken LM 检查点中提取语言模型主干。 让 表示这些提取的主干权重, 表示 Qwen2.5-7B 的权重, 表示 Qwen2.5-7B-Instruct 的权重。 我们使用 TIES 合并 (Yadav et al. 2023) 构建稀疏的 IF 任务向量:原始任务向量 通过仅保留顶部 参数的绝对大小并将其余参数清零来稀疏化, 和合并的主干计算为: 合并的权重被注入回 Spoken LM 检查点结构中,替换 原始主干权重。 然后,此合并检查点将用作阶段 SFT (§3.3.3) 的起点。 在方法 2 中,Spoken LM 在阶段 2 处从 Qwen2.5-7B-Instruct 初始化,并直接进入同一阶段 SFT,无需任务向量运算。
对话监督微调
除了 Stage 2 初始化和合并步骤之外,两种方法都使用相同的特定学习目标、对话数据和 Stage SFT 过程。 SFT 阶段将单话语生成扩展到多回合对话,使用结构化模板和现有的自回归目标来训练响应生成、回合边界估计以及如何对中断序列做出适当反应。
模板设计和输入配置。 图 2 说明了我们的对话模板设计、输入嵌入配置和中断感知训练策略。 我们采用与 Qwen2.5 标记器本机使用的相同的 ChatML 风格对话模板,其特殊标记 <|im_start|> 和 <|im_end|> 界定会话段。 音频不会引入单独的特殊标记,而是作为对齐的 audio latent 附加到每个文本 token位置。 每个对话包含三种段类型:系统(指令提示)、用户(用户话语)和助手(模型响应)。 段按顺序排列,不插入换行符,每个段遵循模式 <|im_start|>rolencontent<|im_end|> 其中 role {system, user, Assistant}。 在训练期间,输入嵌入配置因段类型而异:系统段包含带有零填充音频 latent值的文本 token,因为系统提示是非语音教学内容; 用户片段将 ASR 转录中的文本 token与 TASTE2 Speech Tokenizer 提取的对齐音频潜值配对; 助理片段将文本 token与来自真实响应的音频 latent配对。 训练目标应用统一的下一个标记预测并预测下一个文本 token及其对齐的 audio latent。
对话模板和中断感知训练策略。 (a) 系统、用户和助手的 ChatML 段,由 <|im_start|> 和 <|im_end|> 分隔。 (b) 文本 token(绿色)和音频 latent标记(黄色)一对一配对; 特殊标记使用零填充的音频嵌入(白色、虚线)。 (c) 完整回合计算所有令牌的损失,而中断的助理回合将终端 <|im_end|> 令牌的损失权重设置为 0(标记为 )。
有监督微调范式。 阶段 2 和阶段 SFT 在上述模板上共享相同的统一自回归目标。 损失是根据用户和助理部分计算的; 系统部分提供调节环境并被排除在损失之外。 中断示例接受特殊的损失处理,所得的 <|im_end|> 分布驱动回合决策门。 下面对两者进行描述。
中断感知损耗设计。 全双工对话训练包含正常轮流和中断示例。 如图 2 所示,在正常示例中,助手的响应以 <|im_end|> 标记结束,并且损失是针对所有标记计算的。 在中断示例中,助理的话语在用户插入位置处被截断。 对于这些被截断的片段,终端 <|im_end|> 令牌的损失权重设置为 0,而所有前面的内容令牌保留其损失。 在推理时,这种设计允许在检测到用户语音开始时立即停止生成。
模型门控转弯决策。 在训练数据中,完整的用户段后面跟着 <|im_end|>,而不完整的用户段则接着另一个内容标记。 因此,该模型学会将概率质量放置在用户回合结束的位置 <|im_end|> 上,并且该概率是所部署的回合门消耗的信号 (§4.3.1)。
训练配置。 在阶段 SFT 期间,Speech Tokenizer、Speech Detokenizer、CosyVoice2 流匹配模型和声码器保持冻结状态。 Spoken LM 从阶段 2 检查点继续,并使用 LoRA 进行微调。 训练数据包括三类:来自 DeepDialogue 的正常多轮对话和合成一般对话数据、合成中断场景以及来自合成副语言控制数据的对话(§3.2.1,表 1)。
TASTE2 VoiceBot:增量部署架构
TASTE2 VoiceBot 将 §3 中的模型部署为增量管道。 它在用户语音到达时对其进行处理,决定何时发言,流式传输其响应,并在用户插入时停止。本节介绍实现这些行为的服务以及它们所需的部署决策。
系统整体架构
TASTE2 VoiceBot 采用基于 WebSocket 的微服务架构,包括四个主要服务(如图 3 所示)。 每个服务处理对话管道的不同阶段,通过 WebSocket 连接进行异步通信。
TASTE2 VoiceBot系统架构。 四个 WebSocket 服务形成对话管道:用户语音处理器执行 VAD、ASR、TASTE 标记化和中断检测 (§4.3.2); 代理响应生成器维护对话上下文并应用模型门控回合决策(§4.3.1); Agent Speech Generator 流式传输去令牌和声码语音; Orchestrator 协调交付、中断处理和播放同步反馈(§4.4)。
用户语音处理器将原始音频转换为对齐的文本 token和音频 latent。 语音活动检测 (VAD) 识别语音和静音,自动语音识别 (ASR) 提供转录,TASTE2 Speech Tokenizer 提取音频潜伏。 系统播放期间从静音到语音的 VAD 转换会在 ASR 完成之前发出插入事件。
代理响应生成器维护对话上下文并运行 TASTE2 Spoken LM。 它接收包含对齐文本 token和音频 latent信息的 TokenChunk 消息。 在VAD语音结束信号后,利用<|im_end|>的概率来判断用户是否完成语义转向(§4.3.1); 只有这样它才会自回归预测响应对。 来自 Orchestrator 的反馈仅将已传递的响应对添加到对话历史记录中。
Agent Speech Generator 使用 Speech Detokenizer 将响应对映射到 S3 单元,然后使用 CosyVoice2 流匹配模型和声码器来生成音频。 它增量地合成完整的输入块,并在收到中断事件时停止(§4.2)。
Orchestrator 协调所有服务并管理客户端交互。 该服务充当中央消息路由器,协调用户语音处理器、代理响应生成器和 Agent Speech Generator 之间的通信。 至关重要的是,Orchestrator 实现了基于拉取的音频交付和同步反馈机制 (§4.4),缓冲来自 Agent Speech Generator 的音频,仅根据客户端请求交付块,并仅在交付后将相应的代理令牌反馈给代理响应生成器。 这种设计确保对话上下文与用户的实际听觉体验保持同步,即使在中断期间也是如此。
流处理管道
全双工语音对话对累积响应延迟很敏感。 传统管道按顺序处理 ASR、语言模型推理和语音合成,每个阶段都等待前一个阶段完成。 因此TASTE2采用了面向延迟的增量管道。
TASTE2 将每个管道阶段的工作分解为小令牌块,并通过队列在阶段之间传递结果,因此下游阶段可以在上游块准备好后立即开始处理,而不是等待完整的话语。 TASTE2 通过三服务并发流架构解决了这一挑战。 该管道包含三个服务: (1) 用户语音处理器:执行 VAD、ASR 和 TASTE 标记化,增量处理音频块并生成部分标记表示; (2) 代理响应生成器:接收流式用户令牌块。 尽管该架构可以在令牌块到达时使用它们,但部署的配置仅在 VAD 检测到语音结束(语音→静音转换)时才调用回合决策门。 然后,Spoken LM 要么启动助理片段,要么保持沉默,避免用户说话时重复生成尝试; (3) Agent Speech Generator:使用 TASTE2 的流输出合成 (§3.1.3) 将代理令牌转换为 S3 单元,然后通过 CosyVoice2 的块感知流匹配模型和声码器增量生成音频波形。 这些服务独立运行,并在部分结果可用时将其传递给下游。
这种流传输功能是通过同时而不是顺序运行用户语音处理器的每个阶段来实现的。 VAD 持续扫描传入的 100ms 音频块,流式 ASR 组件在累积的音频到达时异步转录它,通过中间队列与语音活动检测分离。 然后,TASTE 标记化通过第二个队列消耗流式 ASR 输出,以生成对齐的文本 token和音频潜伏。 这种基于队列的通信可以防止阶段之间的阻塞,并且每个阶段在输入到达时立即进行处理,而无需等待下游消费。 Agent Speech Generator也采用同样的并发设计。 一个组件持续从 Spoken LM 接收 S3 单元,将其与生成解耦,而第二个组件则执行 GPU 音频合成。 这种设计确保 GPU 操作不会阻塞管道,从而始终保持流特性。
TASTE2 VoiceBot 调整原来的话语级别 Speech Tokenizer 进行增量操作。 其因果解码器仅根据第一个 文本 token和相应的音频来预测位置 处的 audio latent。 VAD 将 100ms 音频块分组为 600ms 批次,之后 Speech Tokenizer 提取对齐的文本 token和音频潜伏并将其发送到下游。 因此,TASTE2 VoiceBot 可以在用户说话时积累对话上下文,尽管普通响应的生成仍然由检测到的语音结束来控制。
转向和中断机构
VAD 触发和模型门控转向决策
TASTE2 VoiceBot 将声音触发与语义转向决策分开。 VAD 语音到静音转换(100 毫秒静音)会触发评估,但本身不会启动 Assistant 响应。 然后,代理响应生成器应用 TASTE2 Spoken LM 学习到的回合边界分布作为语义门,而无需添加单独的回合分类器。
在训练期间(§3.3.3),模型通过接触用户细分来学习隐式的转弯概率模式。 当用户结束讲话时,对话序列过渡到 <|im_end|>,然后是 <|im_start|> 助手,并且模型学习在句子的最终标记之后将高概率分配给 <|im_end|>。 相反,当用户处于话语中间时,模型将低概率分配给 <|im_end|> 并将高概率分配给其他延续标记。 通过这种模式,<|im_end|> 概率隐式编码转弯结束可能性。
VAD 触发后,代理响应生成器在累积的用户令牌后评估 <|im_end|>。 系统支持两种门条件:(1)Top-k检测:检查<|im_end|>是否出现在top-预测中(); (2)概率阈值:检查<|im_end|>概率是否超过阈值()。 如果任一条件确定转弯结束,则模型进入助手段; 否则,它会保持沉默并等待更多的用户讲话。 由于门仅在 VAD 检测到语音结束后才进行评估,因此部署的配置在用户语音期间绝不会说话。
标点符号也给轮流检测带来了挑战。 它们可能表示句子结尾或句子中间的停顿。 TASTE2 采用前瞻机制来解决这种歧义。 当预测的 token 是标点符号时,系统使用 KV 缓存来预测下一个 token,并对第二个 token 应用 <|im_end|> 检测。 这种前瞻功能使系统能够区分句子结尾标点符号(例如,“.”,后跟高 <|im_end|> 概率)和句子中间标点符号(例如,“,”,后跟低 <|im_end|> 概率),从而提高自然对话中的转弯检测准确性。
中断处理
TASTE2 VoiceBot 通过早期 VAD 检测和协调清理来处理用户打断。 当用户语音处理器的VAD在座席语音期间检测到说话者语音(静音→语音转换)时,系统立即发出中断事件。 这个早期信号(在 ASR 处理之前)可以快速响应打断,最大限度地减少延迟。 一旦检测到中断,Orchestrator 就会执行四步系统清理流程。 (1) 关闭Agent Speech Generator WebSocket:立即停止音频生成,防止进一步的资源消耗; (2) 清除音频缓冲区:丢弃所有未播放的音频块,防止向客户端传送过时的内容; (3) 复位中断事件标志:为下一次潜在中断准备事件状态; (4) 重新连接 Agent Speech Generator:为下一轮建立新的 WebSocket 连接。 此清理流程可确保系统从中断中快速恢复,准备好处理用户的新输入。
音频播放和反馈机制
TASTE2 VoiceBot 必须保持其对话历史记录与音频播放一致。 Moshi (Défossez et al. 2024)、NTPP (Q. Wang et al. 2025) 和 SALM-Duplex (Hu et al. 2025) 等双通道模型分别表示用户和座席语音。 相反,TASTE2 VoiceBot 会跟踪对齐的文本 token和音频 latent的单个序列,而合成和播放则异步进行。
文本 token – audio-latent 对不会单独映射到固定持续时间的波形段。 相反,播放音频是以恒定的 25 Hz 帧速率针对输入对组进行合成,这意味着播放边界不需要与各个文本 token严格对齐。 TASTE2 VoiceBot 为每个音频块分配最小数量的输入对,建立可在传输过程中跟踪的粗略对应关系。
这种架构特征会产生实际的同步问题。 语音生成速度通常超过播放速率,使系统能够快速产生完整的响应。 但是,用户可能会在播放完成之前中断。 如果所有生成的令牌立即反馈到对话上下文,系统的内部状态将包含用户从未听过的代理话语,导致代理稍后引用用户从未实际收到的内容并破坏对话的连贯性。
基于拉动的音频传输和同步反馈。 前端从音频缓冲区请求块,相应的令牌仅在交付后才进入对话历史记录。 当用户中断时,Orchestrator 会清除未传送的块并关闭 Agent Speech Generator 连接; 这些块的标记被排除在对话上下文之外。
TASTE2 通过基于拉动的交付和同步反馈来解决这一挑战(图 4)。 该机制包含三个设计原则:
基于拉动的音频传输:如§4.1 中所述,客户端仅在准备好播放时请求每个块,并且 Orchestrator 从音频缓冲区提供服务并相应地跟踪传输。 这可以使传输与客户端的播放速率同步,从而防止缓冲区溢出。
同步令牌反馈:Agent Speech Generator 将每个代理令牌与其发送到 Orchestrator 的消息中相应的音频捆绑在一起。 仅在传送到客户端后,Orchestrator 才会将代理令牌转发回代理响应生成器。 这确保对话上下文仅包含用户实际收到的内容。
中断安全设计:当发生插入时,Orchestrator 会清除未传送的音频缓冲区内容。 未交付的令牌永远不会到达代理响应生成器,从而保持上下文与用户的实际体验一致。 这种设计实现了一个关键的不变量,即对话历史精确地反映了用户的听觉体验,即使在中断期间也是如此。
评测
我们评估语义保留、全双工交互模式、部署系统延迟和显式副语言控制。 模型评估涵盖了§3.3中的两条实现路径,我们将其称为TASTE2(合并)和TASTE2(直接),分别对应于方法1和方法2。 它们共享训练数据、目标和对话微调,唯一的区别在于如何引入指令跟踪能力。
语义保存分析
我们首先测量将文本语言模型适应 TASTE2 Spoken LM 后保留的语言理解准确性,并表征两种实现路径下的保留率。
基准设置。 我们采用 LLaMA-Questions (LLaMA-Q.) (Nachmani et al. 2024) 作为我们的口语 QA 基准,这是一个专门为评估语音-文本联合模型而设计的问答基准。 遵循TASTE和Moshi的评估协议,我们采用答案包含精度作为评估指标来检查生成的响应是否包含正确的答案。 为了量化适应后的语义能力有多少,我们计算保留指标:,其中 100% 表示口语模型与其文本参考相匹配,高于 100% 的值表示对其的改进,较高的值表示更好的保留。
实验配置。 我们在阶段 SFT 之后对来自 LLaMA-Questions 的 300 问题评估 TASTE2(合并)和 TASTE2(直接)。 每个口头问题都以音频形式提供,模型联合生成文本 token和音频 latent变量。 准确性依赖于上述相同的答案包含标准。 这在对地面真实答案和生成的响应进行案例归一化之后应用。 Spoken LM 在零样本设置中进行评估,通过贪婪解码生成响应。 纯文本参考是 Qwen2.5-7B Instruct,在相同的零样本协议下评估。 (表2)。
TABLE 2
| 系统 | 模式 | LLaMA-Q。 准确度 | 保留 |
|---|---|---|---|
| Mini-Omni 0.5B(TT) | T | 39.0% | - |
| Mini-Omni 0.5B | T+S | 11.6% | 29.7% |
| Helium 7B(文本) | T | 75.0% | - |
| Moshi 7B | T+S | 62.3% | 83.1% |
| LLaMA3.1-8B-Instruct | T | 71.7% | - |
| Llama-Omni 8B | T+S | 67.3% | 93.9% |
| Qwen2.5-7B Instruct | T | 57.3% | - |
| TASTE2(合并) | T+S | 56.3% | 98.2% |
| TASTE2(直接) | T+S | 53.0% | 92.4% |
结果与分析。 TASTE2(合并)比 TASTE2(直接)保留更多的语义准确性。 这个差距有两个影响,都需要注意表 2 的其他行来自具有不同主干和提示协议的已发布设置。
第一个涉及语言模型被要求携带什么。 表 2 中的系统的不同之处在于语言模型本身内部的声学责任有多少。 Mini-Omni 在并行流中解码文本和音频,而 Moshi 在跨多个码本流的音频之前预测时间对齐的文本。 TASTE2 Spoken LM 也在每一步发出声音信息,但其序列与文本序列完全相同,因为一个连续的潜在变量沿着每个文本 token行进,而不是占据其自己的位置。 在该约束下,它保留文本引用的 98.2%。 Llama-Omni 也保留了很大的份额,但其语言模型仅发出文本并将声学委托给下游模块,因此其语义准确性受到构造的保护,而不是在声学负载下保留。 因此,文本对齐建模可以实现每个令牌的声学生成,而无需伴随交错设计的序列长度膨胀,并且不会出现此类设计报告的准确性损失。
第二个读数定位了语音建模之外剩余损失的一部分。 虽然 TASTE2(合并)和 TASTE2(直接)共享分词器、语音目标、对话数据和阶段 SFT,但它们在如何引入指令跟踪功能方面有所不同。 最终,TASTE2(合并)保留 98.2% 与 92.4% 的 TASTE2(直接)。 这表明与文本参考的差距很大一部分源于指令调整方法而不是语音表示,并且可以通过使用模型合并配方来避免。
残余 VQ 消融
Spoken LM 预测连续音频潜伏而不是 RVQ 索引,使得量化的需要不明确。 因此,我们测试 RVQ 是否充当有用的训练约束。
实验装置。 我们比较了两种训练配置:(1)没有RVQ:完全删除RVQ并直接训练连续潜伏; (2) 使用 RVQ (TASTE2):保留 RVQ 作为离散瓶颈。 除了 RVQ 之外,两种配置都使用相同的训练数据、超参数和模型架构。 培训分两个阶段进行。 1 阶段分别训练每个配置的分词器和去分词器四个时期,之后我们测量语音重建精度(S3 精度)。 Stage 2 使用从 Stage 1 训练的相应标记器来训练 50k 步骤的口语模型,之后我们通过 TASTE 潜在 L1 距离测量潜在空间收敛性,并通过文本准确性测量语言建模性能。
RVQ 在两阶段训练期间的效果。 删除 RVQ 会产生更高的 Stage 1 重建精度,但会降低 Stage 2 潜在空间收敛和语言建模性能。 左:训练期间的潜在 L1 距离。 右:文本准确性高于训练。
结果与分析。 这两个阶段针对相反的约束进行优化(图 5)。 删除 RVQ 可以改善阶段 1 重建(46.83% 与 23.56% S3 精度),因为不受约束的连续空间可以灵活地对去标记器所需的输入进行编码。 然而,同样的灵活性使得舞台 2 中的空间变得难以学习。 潜在 L1 距离仍然显着较高(14,573 与 1.35),并且文本准确度下降到 RVQ 模型性能的大约 25%(9.16% 与 38.67%)。 此故障并非孤立于声学分支。 由于文本 token和 audio latent 是在单次前向传递中预测的,因此无法实现的回归目标最终也会降低文本目标。
因此,RVQ 本身并不能提高表示的保真度。 它只是使空间变得可预测。 这种可预测性是 TASTE2 架构的结构要求,而不仅仅是一个附带的超参数。 仅当量化充分约束目标空间时,语言模型才能成功预测连续声学潜伏。
全双工交互评估
Full-Duplex-Bench (Lin et al. 2025) 评估 TASTE2 Spoken LM 是否表现出四种交互模式,详细信息如下。 这些模型级测试与§4 中描述的部署的 TASTE2 VoiceBot 行为不同。
基准规范。 我们使用 Full-Duplex-Bench v1.0,它评估四种交互行为: (1) 暂停处理:模型是否在用户暂停期间等待,而不是错误地开始说话; (2) Backchannel:模型是否在用户讲话期间提供简短的听众反馈; (3) Smooth Turn Take:模型是否检测到用户转弯结束并开始低延迟响应; (4) 用户中断:当用户在响应中插入时模型是否停止并适应。 该基准评估对合成案例 (Synth) 和从 CANDOR 语料库中提取的自然对话的暂停处理,并仅评估 CANDOR 案例的平滑轮流。 该基准测试采用自动指标进行可重复的评估。
评估指标。 我们采用 Full-Duplex-Bench 定义的指标。 TOR(接管率)衡量模型接管发言权的频率。 对于暂停处理和反向通道,TOR 越低越好。 它捕获模型在用户暂停期间或在仅需要短暂反向通道的情况下错误地声明转弯。 这与反向通道中的频率 (Freq) 不同,频率 (Freq) 测量模型产生反向通道的频率,频率越高意味着模型反向通道更像是一个专注的听众。 反向通道中的 JSD 测量模型预测的反向通道时序分布与人工注释的真实时序分布之间的 Jensen-Shannon 散度。 对于平滑转弯和用户中断,较高的 TOR 更好,因为它反映了转弯结束或中断的成功检测。 延迟是从触发事件(用户结束或中断)到模型响应开始的时间,以秒为单位。 GPT-4o 分数以 1–5 量表评估中断后响应的连贯性和上下文适当性。
TABLE 3
| 型号 | 暂停处理 | 反向通道 | 平滑转弯 | 用户中断 | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 合成器 TOR ↓ | CANDOR TOR ↓ | TOR ↓ | 频率 ↑ | JSD ↓ | CANDOR TOR ↑ | 延迟(秒)↓ | TOR ↑ | GPT-4o ↑ | 延迟(秒)↓ | |
| dGSLM | 0.934 | 0.935 | 0.691 | 0.015 | 0.934 | 0.975 | 0.352 | 0.917 | 0.201 | 2.531 |
| Moshi | 0.985 | 0.980 | 1.000 | 0.001 | 0.957 | 0.941 | 0.265 | 1.000 | 0.765 | 0.257 |
| Freeze-Omni | 0.642 | 0.481 | 0.636 | 0.001 | 0.997 | 0.336 | 0.953 | 0.867 | 3.615 | 1.409 |
| Gemini Live | 0.255 | 0.310 | 0.091 | 0.012 | 0.896 | 0.655 | 1.301 | 0.891 | 3.376 | 1.183 |
| TASTE2(合并) | 0.146 | 0.389 | - | - | - | 0.908 | 1.207 | 1.000 | 3.275 | 0.060 |
| TASTE2(直接) | 0.161 | 0.319 | - | - | - | 0.840 | 1.239 | 0.971 | 2.856 | 0.134 |
结果与分析。 表 3 揭示了延迟一致性权衡。 dGSLM和Moshi反应快,但中断后无法产生有用的内容,而Freeze-Omni和Gemini Live保持连贯,但反应慢。 TASTE2(合并)不属于任何一个极端。 它在每次中断时停止,在 0.060 秒内做出反应,并且之后仍然在上下文适当性上得分 3.275。 文本对齐建模使这种组合成为可能,因为在中断中幸存的对话状态是一个文本 token序列,可以在所传递的语音边界处精确地截断(§4.4)。
两种 TASTE2 变体都有一个明确弱点:模型需要超过 1 秒才能完成平滑的轮次切换。这是该设计的直接代价。轮次切换决策会先等待 VAD 检测到语音结束,然后查询模型用于门控轮次切换决策的 token 分布。这种方法不需要专用分类器就能准确识别轮次切换,但会带来延迟代价。比较两种变体,TASTE2(Merge)在处理用户打断和平滑轮次切换方面始终优于 TASTE2(Direct)。不过,两者在暂停处理上存在取舍:TASTE2(Merge)的 Synth TOR 更好,而 TASTE2(Direct)在自然 CANDOR 对话上表现更好,仍接近表中最佳系统。
用户体验延迟分析
我们使用首次音频时间(TTFA)来衡量 TASTE2 VoiceBot 的用户体验延迟,其定义为用户语音结束到系统语音开始之间的时间间隔。与只评估纯后端延迟的 Full-Duplex-Bench v1.0 不同,TTFA 同时计入后端处理与前端连接开销,因此反映完整的端到端系统延迟。我们分别测试 4、11、25、48 和 60 秒这五种输入长度。对每次交互,我们都在生成波形中定位从静音到语音的转换点,并进行人工核验。TASTE2 VoiceBot 以 batch size 1 运行在两块 NVIDIA RTX A6000 GPU 上。ChatGPT Voice、Gemini Live 和 Grok 均于 2026 年 3 月 13 日通过各自的官方移动应用测量,其硬件配置未知。(编者注:正文年份印为“202”,末位缺失;此处依据同页表 4 图注补全为 2026。)
表 4 给出了各系统的 TTFA 测量结果。由于这五个单样本测量值并未随输入长度呈现一致趋势,我们使用平均 TTFA 汇总各系统的表现。NVIDIA 的推理优化库 TensorRT 将 TASTE2 的平均 TTFA 降低了 22%,但在该指标上,TASTE2 仍未达到 ChatGPT Voice 的水平。我们观察到,Agent Speech Generator 是端到端延迟的主要瓶颈。这表明,采用更轻量或更高效的语音合成架构,是最直接的优化方向。
TABLE 4
| 系统 | TTFA(毫秒) | |||||
|---|---|---|---|---|---|---|
| 输入长度 | 4s | 11s | 25s | 48s | 60s | 平均 |
| ChatGPT Voice | 1056 | 1056 | 1120 | 1376 | 2240 | 1370 |
| Gemini Live | 4160 | 3968 | 3840 | 4800 | 3392 | 4032 |
| Grok | 2016 | 3424 | 1984 | 1952 | 2176 | 2310 |
| TASTE2 无 TRT | 3392 | 3232 | 3008 | 4000 | 3712 | 3469 |
| TASTE2 | 2464 | 2336 | 2912 | 3424 | 2368 | 2701 (-22%) |
副语言控制
设置。 我们使用两种人类评定的诊断方法。 首先,阶段 2 特征延续诊断在进行任何合并和 SFT 之前建立基线。 我们使用模型合并和对话之前的检查点 SFT 并为八个特征中的每一个合成五个未完成的英语开口。 该模型将继续对齐的文本-音频序列,在应用 SFT 策略之前测试每个功能是否可以继续。 其次,我们实施显式控制诊断测试。 在对话SFT之后,TASTE(合并)和TASTE(直接)是否可以各自在指令上产生相同的八个特征,而不是仅仅继续它们。 我们选择 VStyle 声学属性的 41 子集,(Zhan et al. 2026) 评估对 TASTE(合并)和 TASTE(直接)的指令条件显式控制,其中 10 快速和 10 慢速项目、一个耳语音量项目和 4 项目分别针对五个情绪类别 (愤怒、恐惧、快乐、悲伤、惊讶)。 由于评估覆盖范围与完整的 VStyle 协议不同,因此这些分数不能直接与之前发布的 VStyle 结果进行比较。 在这两种诊断中,三名评估员独立评估每个有效的音频输出。 评估者给出的分数范围从 1(完全不合适)到 5(完全合适)。 最终报告的值是所有评估者和成功一代的平均值。 此外,表 4 中的 Succ./Total 列报告为每个功能成功生成有效音频的尝试次数。
TABLE 5
| 特点 | 阶段 2 特征延续 | VStyle 显式控制 | ||||
|---|---|---|---|---|---|---|
| TASTE2(合并) | TASTE2(直接) | |||||
| 成功/总计 | 平均值 ± 标准 | 成功/总计 | 平均值 ± 标准 | 成功/总计 | 平均值 ± 标准 | |
| 快 | 5/5 | 9/10 | 10/10 | |||
| 慢 | 5/5 | 9/10 | 10/10 | |||
| 快乐 | 5/5 | 4/4 | 3/4 | |||
| 悲伤 | 3/5 | 4/4 | 3/4 | |||
| 惊喜 | 5/5 | 4/4 | 4/4 | |||
| 耳语 | 4/5 | 1/1 | 1/1 | |||
| 恐惧 | 5/5 | 4/4 | 4/4 | |||
| 生气 | 2/5 | 4/4 | 4/4 | |||
结果与分析。 两个 TASTE2 模型都成功为 SFT 之后的 41 VStyle 项目的 39 生成有效音频。 这表明主要限制在于控制而不是生成。 为了理解这个瓶颈,我们分析了从 2 预训练阶段到 SFT 阶段的性能进展。
该模型展示了 Stage 2 连续探针中的基线表征能力。 快慢特征成功清除了3点阈值,耳语也能有效继续。 然而,与情绪相关的属性,如恐惧和愤怒,在早期阶段已经表现出疲弱的表现。 对话 SFT 后,对这些属性的显式控制出现分歧。 虽然快速和慢速在 TASTE(直接)和 TASTE(合并)策略下仍然保持稳健,但尽管耳语早期具有可行性,但不再能够根据请求可靠地生成耳语。 此外,恐惧仍然很弱。 唯一值得注意的例外是情绪控制表现出强烈的策略依赖性。 例如,愤怒和惊讶在TASTE(直接)策略(分别为和)下达到阈值,但在TASTE(合并)策略(和)下失败。 其余属性通常较弱或不一致。
比较这两个阶段表明,阶段 2 预训练在大多数情况下充当 SFT 性能的上限。 阶段 2 表示的质量本质上限制了 SFT 之后功能可以实现的功能。 如果副语言属性在2阶段缺乏坚实的基础,仅对话SFT通常不足以建立稳健的控制。 相反,在阶段 2 中的成功代表并不能保证通过 SFT 过程的生存。 这些模式强调高质量的 Stage 2 预训练对于实现对语音属性的鲁棒显式控制至关重要。
调查结果摘要
综上所述,上述评估回答了§1中提出的问题,即文本对齐语音 token化是否是实现全双工语音交互的可行建模路径,并且它们支持比良好性能的一般断言更窄、更具体的主张。
代理费用是多少。 还必须产生语音的语言模型通常会在序列长度上付出代价。 由于声音标记占据自己的位置,因此在文本预训练期间学到的规律会在较长且混合的交错序列中被稀释。 结果如表2所示。 交错系统保留 29.7% 和 83.1% 之间的文本准确性,与这些声学位置所需的空间成比例。 TASTE2 完全避免了这种妥协。 通过将一个连续的 audio latent 与每个文本 token配对,模型在每一步都会发出声音信息,同时保持整体序列与文本本身一样长。 因此,它保留了其文本引用的 98.2%。
回报的地方。 主要优点出现在全双工转弯边界(例如中断)期间,TASTE2 仅在 0.060 内做出反应,同时保持连贯性和上下文适当性的能力。 其他评估的系统无法平衡这种快速与相干生成。 此功能直接源于底层文本表示,它允许在中断点精确地截断对话历史记录,以便模型从用户实际听到的内容精确恢复。 转弯识别的好处类似,因为转弯边界充当普通令牌,使 TOR 能够到达 0.908,而不需要任何专用分类器。
尚未做到的方面。 通过模型分布路由转弯决策可提高准确性,但会增加延迟,其平滑转接延迟为 1.207 秒,而受测系统中最快的为 0.265 秒。 瓶颈在 Agent Speech Generator 而不是 Spoken LM。 此外,明确的副语言控制在属性和训练策略之间仍然不一致。 只有 fast 和 slow 两项特征能在 SFT 后达到明确阈值,而其他情感特征仍然较弱。
结论
TASTE2 建立了基于 TASTE 的文本对齐语音建模和部署,作为实现全双工语音交互的可行路径。 实现这一目标需要对原始话语级别方法进行端到端的调整。 共享文本 token词汇消除了单词级平均,并且将一个连续的 audio latent 与每个文本 token配对允许模型在每一步发出声音信息,而无需扩展文本序列长度。 中断感知对话训练教导模型何时让步或轮流,而 Speech Detokenizer 则增量生成 S3 单元。 TASTE2 VoiceBot 将此模型集成到工作研究部署中,具有 VAD 触发和模型门控的转向决策、流合成和插入处理。
评估(§5.6)支持特定的主张,而不是一般的主张。 文本对齐的语音 token化以可测量的成本保留文本模型能力,并提供最直接依赖于该表示的全双工行为。 轮流延迟、部署的合成速度和跨属性副语言控制仍然存在开放限制。
致谢
作者衷心感谢 NVIDIA AI 技术中心 (NVAITC) 提供对台北-1 超级计算机和本研究中使用的计算资源的访问。
参考文献
- Arora, Siddhant, Zhiyun Lu, Chung-Cheng Chiu, Ruoming Pang, and Shinji Watanabe. 2025. “Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics.” In International Conference on Learning Representations, 2025:52754–81.
- Borsos, Zalán, Raphaël Marinier, Damien Vincent, Eugene Kharitonov, Olivier Pietquin, Matt Sharifi, Dominik Roblek, et al. 2023. “Audiolm: A Language Modeling Approach to Audio Generation.” IEEE/ACM Transactions on Audio, Speech, and Language Processing 31: 2523–33.
- Chen, Yiming, Xianghu Yue, Chen Zhang, Xiaoxue Gao, Robby T Tan, and Haizhou Li. 2024. “Voicebench: Benchmarking Llm-Based Voice Assistants.” URL Https://Arxiv. Org/Abs/2410 17196.
- Chen, Yuxuan, and Haoyuan Yu. 2025. “From Turn-Taking to Synchronous Dialogue: A Survey of Full-Duplex Spoken Language Models.” arXiv Preprint arXiv:2509.14515.
- Chu, Yunfei, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, and Jingren Zhou. 2023. “Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models.” arXiv Preprint arXiv:2311.07919.
- Cui, Wenqian, Lei Zhu, Xiaohui Li, Zhihan Guo, Haoli Bai, Lu Hou, and Irwin King. 2025. “Think Before You Talk: Enhancing Meaningful Dialogue Generation in Full-Duplex Speech Language Models with Planning-Inspired Text Guidance.” arXiv e-Prints, arXiv–2508.
- Défossez, Alexandre, Jade Copet, Gabriel Synnaeve, and Yossi Adi. 2022. “High Fidelity Neural Audio Compression.” arXiv Preprint arXiv:2210.13438.
- Défossez, Alexandre, Laurent Mazaré, Manu Orsini, Amélie Royer, Patrick Pérez, Hervé Jégou, Edouard Grave, and Neil Zeghidour. 2024. “Moshi: A Speech-Text Foundation Model for Real-Time Dialogue.” arXiv Preprint arXiv:2410.00037.
- Ding, Ding, Zeqian Ju, Yichong Leng, Songxiang Liu, Tong Liu, Zeyu Shang, Kai Shen, et al. 2025. “Kimi-Audio Technical Report.” arXiv Preprint arXiv:2504.18425.
- Du, Zhihao, Qian Chen, Shiliang Zhang, Kai Hu, Heng Lu, Yexin Yang, Hangrui Hu, et al. 2024. “Cosyvoice: A Scalable Multilingual Zero-Shot Text-to-Speech Synthesizer Based on Supervised Semantic Tokens.” arXiv Preprint arXiv:2407.05407.
- Du, Zhihao, Yuxuan Wang, Qian Chen, Xian Shi, Xiang Lv, Tianyu Zhao, Zhifu Gao, et al. 2024. “Cosyvoice 2: Scalable Streaming Speech Synthesis with Large Language Models.” arXiv Preprint arXiv:2412.10117.
- Ekstedt, Erik, and Gabriel Skantze. 2020. “TurnGPT: A Transformer-Based Language Model for Predicting Turn-Taking in Spoken Dialog.” In Findings of the Association for Computational Linguistics: EMNLP 2020, 2981–90.
- ———. 2022. “Voice Activity Projection: Self-supervised Learning of Turn-taking Events.” In Proceedings of Interspeech. https://arxiv.org/abs/2205.09812.
- Fang, Qingkai, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, and Yang Feng. 2025. “Llama-Omni: Seamless Speech Interaction with Large Language Models.” In International Conference on Learning Representations, 2025:57607–24.
- Fang, Qingkai, Yan Zhou, Shoutao Guo, Shaolei Zhang, and Yang Feng. 2025. “LLaMA-Omni 2: LLM-Based Real-Time Spoken Chatbot with Autoregressive Streaming Speech Synthesis.” In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 18617–29.
- He, Haorui, Zengqiang Shang, Chaoren Wang, Xuyuan Li, Yicheng Gu, Hua Hua, Liwei Liu, et al. 2024. “Emilia: An Extensive, Multilingual, and Diverse Speech Dataset for Large-Scale Speech Generation.” In 2024 IEEE Spoken Language Technology Workshop (SLT), 885–90. IEEE.
- Hsu, Wei-Ning, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, and Abdelrahman Mohamed. 2021. “Hubert: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units.” IEEE/ACM Transactions on Audio, Speech, and Language Processing 29: 3451–60.
- Hu, Ke, Ehsan Hosseini-Asl, Chen Chen, Edresson Casanova, Subhankar Ghosh, Piotr Żelasko, Zhehuai Chen, Jason Li, Jagadeesh Balam, and Boris Ginsburg. 2025. “Salm-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model.” arXiv Preprint arXiv:2505.15670.
- Ji, Shengpeng, Yifu Chen, Minghui Fang, Jialong Zuo, Jingyu Lu, Hanting Wang, Ziyue Jiang, et al. 2024. “Wavchat: A Survey of Spoken Dialogue Models.” arXiv Preprint arXiv:2411.13577.
- Lakhotia, Kushal, Eugene Kharitonov, Wei-Ning Hsu, Yossi Adi, Adam Polyak, Benjamin Bolte, Tu-Anh Nguyen, et al. 2021. “On Generative Spoken Language Modeling from Raw Audio.” Transactions of the Association for Computational Linguistics 9: 1336–54.
- Li, Tianpeng, Jun Liu, Tao Zhang, Yuanbo Fang, Da Pan, Mingrui Wang, Zheng Liang, et al. 2025. “Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction.” arXiv Preprint arXiv:2502.17239.
- Li, Zehan, Hongjie Chen, Qing Wang, Yuxin Zhang, Jing Zhou, Hang Lv, Mengjie Du, et al. 2025. “Televal: A Dynamic Benchmark Designed for Spoken Language Models in Chinese Interactive Scenarios.” arXiv Preprint arXiv:2507.18061.
- Lin, Guan-Ting, Shih-Yun Shan Kuan, Qirui Wang, Jiachen Lian, Tingle Li, Shinji Watanabe, and Hung-yi Lee. 2026. “Full-Duplex-Bench V1. 5: Evaluating Overlap Handling for Full-Duplex Speech Models.” In ICASSP 2026-2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 19447–51. IEEE.
- Lin, Guan-Ting, Jiachen Lian, Tingle Li, Qirui Wang, Gopala Anumanchipalli, Alexander H Liu, and Hung-yi Lee. 2025. “Full-Duplex-Bench: A Benchmark to Evaluate Full-Duplex Spoken Dialogue Models on Turn-Taking Capabilities.” In 2025 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), 1–8. IEEE.
- Liu, Jingwen, Kan Jen Cheng, Jiachen Lian, Akshay Anand, Rishi Jain, Faith Qiao, Robin Netzorg, et al. 2025. “Emo-Reasoning: Benchmarking Emotional Reasoning Capabilities in Spoken Dialogue Systems.” In 2025 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), 1–8. IEEE.
- Liu, Ruohan, Shukang Yin, Tao Wang, Dong Zhang, Weiji Zhuang, Shuhuai Ren, Ran He, Caifeng Shan, and Chaoyou Fu. 2026. “SpeechParaling-Bench: A Comprehensive Benchmark for Paralinguistic-Aware Speech Generation.” arXiv Preprint arXiv:2604.20842.
- Nachmani, Eliya, Alon Levkovitch, Roy Hirsch, Julian Salazar, Chulayuth Asawaroengchai, Soroosh Mariooryad, Ehud Rivlin, RJ Skerry-Ryan, and Michele Tadmor Ramanovich. 2024. “Spoken Question Answering and Speech Continuation Using Spectrogram-Powered Llm.” In International Conference on Learning Representations, 2024:51883–98.
- Nguyen, Tu Anh, Eugene Kharitonov, Jade Copet, Yossi Adi, Wei-Ning Hsu, Ali Elkahky, Paden Tomasello, et al. 2023. “Generative Spoken Dialogue Language Modeling.” Transactions of the Association for Computational Linguistics 11: 250–66.
- Nguyen, Tu Anh, Benjamin Muller, Bokai Yu, Marta R Costa-Jussa, Maha Elbayad, Sravya Popuri, Christophe Ropers, et al. 2025. “Spirit-Lm: Interleaved Spoken and Written Language Model.” Transactions of the Association for Computational Linguistics 13: 30–52.
- Peng, Yizhou, Yi-Wen Chao, Dianwen Ng, Yukun Ma, Chongjia Ni, Bin Ma, and Eng Siong Chng. 2025. “Fd-Bench: A Full-Duplex Benchmarking Pipeline Designed for Full Duplex Spoken Dialogue Systems.” arXiv Preprint arXiv:2507.19040.
- Qian, Kaizhi, Xulin Fan, Junrui Ni, Slava Shechtman, Mark Hasegawa-Johnson, Chuang Gan, and Yang Zhang. 2025. “ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models.” arXiv Preprint arXiv:2507.20091.
- Rubenstein, Paul K, Chulayuth Asawaroengchai, Duc Dung Nguyen, Ankur Bapna, Zalán Borsos, Félix de Chaumont Quitry, Peter Chen, et al. 2023. “Audiopalm: A Large Language Model That Can Speak and Listen (2023).” arXiv Preprint arXiv:2306.12925.
- Tang, Changli, Wenyi Yu, Guangzhi Sun, Xianzhao Chen, Tian Tan, Wei Li, Lu Lu, Zejun Ma, and Chao Zhang. 2024. “Salmonn: Towards Generic Hearing Abilities for Large Language Models.” In International Conference on Learning Representations, 2024:16607–29.
- Tseng, Liang-Hsuan, Yi-Chang Chen, Kuan Lee, Da-Shan Shiu, and Hung-yi Lee. 2026. “Taste: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling.” In International Conference on Learning Representations, 2026:125293–314.
- Veluri, Bandhav, Benjamin N Peloquin, Bokai Yu, Hongyu Gong, and Shyamnath Gollakota. 2024. “Beyond Turn-Based Interfaces: Synchronous Llms as Full-Duplex Dialogue Agents.” In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 21390–402.
- Wang, Bin, Xunlong Zou, Geyu Lin, Shuo Sun, Zhuohan Liu, Wenyu Zhang, Zhengyuan Liu, AiTi Aw, and Nancy Chen. 2025. “Audiobench: A Universal Benchmark for Audio Large Language Models.” In Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), 4297–4316.
- Wang, Qichao, Ziqiao Meng, Wenqian Cui, Yifei Zhang, Pengcheng Wu, Bingzhe Wu, Irwin King, Liang Chen, and Peilin Zhao. 2025. “Ntpp: Generative Speech Language Modeling for Dual-Channel Spoken Dialogue via Next-Token-Pair Prediction.” arXiv Preprint arXiv:2506.00975.
- Wang, Xiong, Yangze Li, Chaoyou Fu, Yunhang Shen, Lei Xie, Ke Li, Xing Sun, and Long Ma. 2024. “Freeze-Omni: A Smart and Low Latency Speech-to-Speech Dialogue Model with Frozen Llm.” arXiv Preprint arXiv:2411.00774.
- Xie, Zhifei, and Changqiao Wu. 2024. “Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming.” arXiv Preprint arXiv:2408.16725.
- Xu, Jin, Zhifang Guo, Jinzheng He, Hangrui Hu, Ting He, Shuai Bai, Keqin Chen, et al. 2025. “Qwen2.5-Omni Technical Report.” https://arxiv.org/abs/2503.20215.
- Yadav, Prateek, Derek Tam, Leshem Choshen, Colin Raffel, and Mohit Bansal. 2023. “TIES-Merging: Resolving Interference When Merging Models.” In Advances in Neural Information Processing Systems, 36:15886–911. https://arxiv.org/abs/2306.01708.
- Yang, Shu-wen, Ming Tu, Ting-Wei Liu, Xinghua Qu, Hung-yi Lee, Lu Lu, Yuxuan Wang, and Yonghui Wu. 2026. “Paras2s: Benchmarking and Aligning Spoken Language Models for Paralinguistic-Aware Speech-to-Speech Interaction.” In International Conference on Learning Representations, 2026:70704–29.
- Yu, Wenyi, Siyin Wang, Xiaoyu Yang, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Guangzhi Sun, Lu Lu, Yuxuan Wang, and Chao Zhang. 2024. “Salmonn-Omni: A Codec-Free Llm for Full-Duplex Speech Understanding and Generation.” arXiv Preprint arXiv:2411.18138.
- Zeghidour, Neil, Alejandro Luebs, Ahmed Omran, Jan Skoglund, and Marco Tagliasacchi. 2022. “SoundStream: An End-to-End Neural Audio Codec.” IEEE/ACM Transactions on Audio, Speech, and Language Processing 30: 495–507. https://doi.org/10.1109/TASLP.2021.3129994.
- Zen, Heiga, Viet Dang, Rob Clark, Yu Zhang, Ron J Weiss, Ye Jia, Zhifeng Chen, and Yonghui Wu. 2019. “LibriTTS: A Corpus Derived from LibriSpeech for Text-to-Speech.” In Proceedings of Interspeech, 1526–30. https://arxiv.org/abs/1904.02882.
- Zeng, Aohan, Zhengxiao Du, Mingdao Liu, Kedong Wang, Shengmin Jiang, Lei Zhao, Yuxiao Dong, and Jie Tang. 2024. “Glm-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot.” arXiv Preprint arXiv:2412.02612.
- Zhan, Jun, Mingyang Han, Yuxuan Xie, Chen Wang, Dong Zhang, Kexin Huang, Haoxiang Shi, et al. 2026. “Vstyle: A Benchmark for Voice Style Adaptation with Spoken Instructions.” In ICASSP 2026-2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 19477–81. IEEE.
- Zhang, Dong, Shimin Li, Xin Zhang, Jun Zhan, Pengyu Wang, Yaqian Zhou, and Xipeng Qiu. 2023. “Speechgpt: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities.” In Findings of the Association for Computational Linguistics: EMNLP 2023, 15757–73.
- Zhang, Qinglin, Luyao Cheng, Chong Deng, Qian Chen, Wen Wang, Siqi Zheng, Jiaqing Liu, et al. 2025. “Omniflatten: An End-to-End Gpt Model for Seamless Voice Conversation.” In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 14570–80.
- Zhang, Xin, Dong Zhang, Shimin Li, Yaqian Zhou, and Xipeng Qiu. 2024. “Speechtokenizer: Unified Speech Tokenizer for Speech Language Models.” In International Conference on Learning Representations, 2024:31798–818.
- Zhou, Li, Lutong Yu, You Lyu, Yihang Lin, Zefeng Zhao, Junyi Ao, Yuhao Zhang, Wang Benyou, and Haizhou Li. 2026. “Echomind: An Interrelated Multi-Level Benchmark for Evaluating Empathetic Speech Language Models.” In International Conference on Learning Representations, 2026:55554–88.