ARXIV 2504.07053v3 · APR 2025 · 中文全文译稿

TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling

Liang-Hsuan Tseng · Yi-Chang Chen · Kuan-Yi Lee · Da-Shan Shiu · Hung-yi LeeMediaTek Research · National Taiwan University
01 / ALIGN按文本对齐用文本 token 查询语音帧,把长语音序列压到文本长度。
02 / RECONSTRUCT保留副语言信息通过语音重建目标迫使表示携带内容之外的声学线索。
03 / MODEL联合 Spoken LM文本 token 与 TASTE token / embedding 以一一对应方式共同建模。
PDF
22 页
Figures
6
Tables
12
Equations
8
References
完整

摘要

最近的工作目标是口语模型 (SLM),它不仅可以听,还可以说,以实现更自然的 human-LLM 交互。 联合文本语音建模是实现这一目标的一个有前途的方向。 然而,最近用于联合建模的语音 token的有效性仍未得到充分探索。 为了解决这个问题,我们引入了 Text-Aligned Speech Tokenization and Embedding (TASTE),这是一种通过在标记化阶段将语音 token与相应的文本转录对齐来直接解决模态差距的方法。 我们提出了一种基于注意力的聚合机制,以语音重建为训练目标。 大量实验表明,TASTE 保留了必要的副语言信息,同时显着减少了标记序列长度。 TASTE 还可以在预训练文本 LLM 上使用低秩适应来实现简单的联合口语建模。 使用 TASTE 进行联合建模在语音延续和基于可能性的下一个语音选择方面优于其他预训练的 SLM。 据我们所知,TASTE 是第一个使用重建目标来学习为文本语音口语建模量身定制的联合标记化和嵌入的端到端方法。 演示、代码和模型:https://mtkresearch.github.io/TASTE-SpokenLM.github.io

简介

口语建模(SLM)是当今一个有趣的方向,旨在创建不仅能听还能说 (Lakhotia et al. 2021; Nguyen et al. 2023; Défossez et al. 2024; Fang et al. 2024; Arora et al. 2025) 的模型。 通常,构建 SLM 需要两个阶段:首先,导出语音 token化; 其次,基于语音 token训练语言模型。 对于语音 token,以前的方法要么应用自监督学习 (SSL) 表示,然后采用离散化技术 (Baevski et al. 2020; Lakhotia et al. 2021; Nguyen et al. 2023; Hassid et al. 2023),要么重用 EnCodec 和 SoundStream (Défossez et al. 2023; Zeghidour et al. 2021; Kumar et al. 2023; Siuzdak, Grötschla, and Lanzendörfer 2024) 等神经编解码器模型中的单元。 尽管使用这些语音 token的自回归建模在文本转语音 (TTS) (Wang et al. 2023; Xin, Tan, Shen, et al. 2024; Kim et al. 2024; S. Chen et al. 2024) 方面显示出巨大潜力,但以前仅对语音 token (Lakhotia et al. 2021; Nguyen et al. 2023) 进行建模的 SLM 已被证明缺乏语义保真度 (Lin et al. 2024)。

为了弥补这一差距,一个有希望的方向是在口语建模过程中利用富含语义的文本。 TWIST (Hassid et al. 2023) 表明 SLM 可以从使用文本 LLMs 进行初始化中受益。 基于这个想法,最近的工作已经转向联合文本语音建模,以增强生成语音的语义连贯性。 此类方法通常采用生成文本和语音 token的混合解码方案。 然而,结合这两种模式会导致长度不匹配,因为语音 token序列通常比其文本对应序列长得多。 常见的补救措施包括交错文本和语音 token (Nguyen et al. 2025) 或插入填充以同步序列长度 (Défossez et al. 2024; Xie and Wu 2024a, 2024b; Fang et al. 2024),但这些解决方案依赖于额外的对齐过程或启发式规则,使得联合建模更加复杂。

由于混合文本语音解码成为联合 SLM (Défossez et al. 2024; Xie and Wu 2024a, 2024b; Fang et al. 2024; Li et al. 2025) 的流行范例,因此应根据此设置重新考虑语音 token的设计。 这激励了更有效的联合标记方法的开发,该方法可以在以下两个考虑因素下得出:1)语音 token应避免对文本内容(已由文本 token捕获)进行冗余编码,而是专注于传达副语言信息; 和 2),文本和语音 token之间直接的一对一对应关系更好,因为它允许 SLM 同时生成文本 token和语音 token,而无需应用任何启发式或显式对齐,从而减轻标记化阶段的长度不匹配问题。

概念概述。 传统方法仅从语音中提取语音 token,不可避免地会携带与文本 token重叠的信息,并在进行联合文本语音建模时引发长度不匹配问题。 通过采用双模态作为输入,我们生成与文本对齐的语音 token化,从而促进直接有效的联合建模。

在这项工作中,我们介绍了 Text-Aligned Speech Tokenization and Embedding (TASTE),这是一种为文本-语音联合口语建模量身定制的特殊类型的联合标记化。 通过承认长度不匹配在联合建模中引入了额外的复杂性,我们开发了语音 token以与其相应的文本转录标记保持一致。 为了实现这一点,我们首先使用 ASR 模型获得语音的文本转录; 然后,我们通过用于语音重建的专门交叉注意机制,根据转录导出语音 token。 请注意,整个过程可以以端到端的方式完成,不需要明确的语音文本对齐。 与之前在固定下采样率的固定步幅下开发的语音 token不同,我们的语音 token具有动态频率,因为它是文本对齐的。 图 1 显示了 TASTE 的总体概念,说明了我们的联合标记化如何实现有效的联合建模。

为了评估 TASTE 的有效性,我们首先对语音重建进行了广泛的实验。 我们在 LibriSpeech (Panayotov et al. 2015) 上的结果表明,TASTE 不仅可以高质量地重新合成语音,而且还保留了与原始语音的相似性。 TASTE以极低码率(∼\sim150 bps)实现高端重构; 而其他类似的方法往往超过数千bps。 我们将效率归因于编码和解码过程中文本 token的参与,而我们的语音 token专注于携带副语言信息,TASTE 允许简单的文本对齐语音编辑的演示支持了这一点。 通过交换具有相同内容的两个不同话语的部分文本对齐语音 token,我们证明了可以在交换的单词之后精确地交换持续时间和语气等副语言信息,从而产生自然的编辑语音。

另一方面,我们证明 TASTE 成功地实现了有效的口语建模。 我们在低秩适配 (Hu et al. 2021) 下使用 TASTE 进行简单的联合建模。 我们首先用给出的 3 秒语音提示进行语音延续实验。 评价分为三个方面。 我们使用 GPT-4o 来评估语义方面; UTMOS (Saeki et al. 2022) 声学方面; 和人类听力测试进行总体评估。 结果表明,我们的 SLM 不仅生成自然、有意义的语音延续,而且在使用 1.3B 参数的所有延续评估方面都优于其他 7B 预训练的 SLM。 我们还在两个基准上评估了我们的 SLM:SALMON (Maimon, Roth, and Adi 2024) 和 StoryCloze (Hassid et al. 2023),我们的结果表明,与其他文本语音联合建模方法相比,我们的 SLM 实现了可比的性能。 此外,我们还表明,我们预训练的 SLM 可以在少镜头场景下执行语音问答。

总之,我们推导出 TASTE,一种用于文本-语音口语建模的专用标记化方法。 通过将语音 token与其对应的文本 token对齐,TASTE 提供了一种简单而有效的联合标记化形式。 我们的结果强调联合标记化是联合建模的关键因素,提供了一个新的视角,可以促进对更有效设计的进一步研究。

最近的 SLM 经常需要语音 token化来进行语言建模,下一个预测目标为文本 LLMs。 与文本不同,语音信号是连续且冗长的,因此很难为口语建模导出适当的语音 token。 常见方法可以利用自监督学习 (SSL) 语音模型,然后采用量化技术来提取语音 token (Baevski et al. 2020; W.-N. Hsu et al. 2021; Lakhotia et al. 2021; Hassid et al. 2023; Nguyen et al. 2025)。 此外,音频或语音编解码器模型也已在最近的 SLM (Zeghidour et al. 2021; Défossez et al. 2023, 2024; Zhang et al. 2024) 中用于标记化。 这些模型是为重新合成而设计的,其中语音解码器与编码器共同学习。

通过语音 token化,GSLM (Lakhotia et al. 2021) 首先演示了构建可生成语音的 SLM 的可能性。 TWIST (Hassid et al. 2023) 进一步表明,SLM 可以从纯文本 LLM 的初始化中受益。 鉴于纯文本 LLMs 的巨大成功,最近的工作将重点转向联合语音文本建模 (Défossez et al. 2024; Xie and Wu 2024a)。 为了方便联合建模,Spirit LM (Nguyen et al. 2025)采用了交错策略; moshi (Défossez et al. 2024) 以降低的令牌频率训练自己的令牌生成器。 此外,为联合建模(Xie and Wu 2024a)引入了延迟或顺序生成。

尽管联合语音文本建模的需求不断增加,但我们没有找到任何讨论当前语音 token化的有效性的工作。 然而,我们观察到,最近的工作正在尝试通过降低标记频率 (Défossez et al. 2024; Zeng et al. 2024)、为文本语音对齐 (Xie and Wu 2024a) 进行额外的训练阶段或利用 ASR 编码器 (Du, Chen, et al. 2024) 的隐藏表示来缩小模态差距。 这促使我们设计一种与其文本对应物直接对齐的语音 token化,解决标记化阶段的不匹配问题。

在TASTE中,我们利用基于注意力的专门机制来聚合编码器表示。 我们澄清,文本-语音交叉注意力机制也已用于 TTS 的细粒度控制。 更具体地说,L.-W. Chen and Rudnicky (2022) 提出了内容风格交叉注意来指示他们的文本-语音交叉注意机制,该机制可以实现 TTS 中的风格迁移。 尽管两者都利用专门的文本-语音交叉注意机制,但设计选择和问题表述完全不同。 我们将我们的主要新颖性归因于发明了用于联合口语建模的文本对齐语音 token化和嵌入,并且文本-语音交叉注意机制被认为并被证明是实现它的一种干净而有效的方式。

方法

我们提出文本对齐的语音 token化和嵌入(TASTE)以促进有效的联合语音-文本口语建模。 在这里,我们首先在 3.1 节中介绍如何导出联合标记化,然后讨论如何使用 TASTE 进行口语建模(§ 3.2)。

大楼 TASTE

如图 2 所示,TASTE 由两个主要组件组成:文本对齐语音 token生成器 (§ 3.1.1),用于生成文本对齐语音 token化; 语音解码器(§ 3.1.2)根据文本 token和与其对齐的 TASTE 语音 token重建语音。 语音重建的训练目标在 3.1.3 节中描述。

TASTE Speech Tokenizer

在 TASTE 中,语音 token器(表示为 Tokenizer(⋅)\mathrm{Tokenizer}(\cdot))被设计为以语音文本对 X=(u,v)X=(\bm{u}, \bm{v}) 作为输入生成文本对齐的语音 token化和嵌入,其中 v\bm{v} 表示语音话语 u\bm{u} 的文本转录,可以通过自动语音识别轻松获得 (ASR)系统。 稳健且高效的 ASR (Radford et al. 2023; Gandhi, Platen, and Rush 2023) 的最新发展使我们能够专注于讨论如何通过假设 v\bm{v} 具有足够的质量来有效地导出文本对齐的语音 token。 TASTE 语音 token器由三个主要组件组成:编码器、聚合器和量化器。

编码器 Encoder(⋅)\mathrm{Encoder}(\cdot) 包含 Transformer (Vaswani et al. 2017) 编码器块的 LL 层,用于提取高维语音表示。 我们使用预训练的 Whisper ASR 编码器 (Radford et al. 2023) 作为我们的语音编码器,并且它在训练期间被冻结。 对于输入语音 u\bm{u},编码器从每层 [h(1),h(2),…,h(L)][\bm{h}^{(1)}, \bm{h}^{(2)}, \ldots, \bm{h}^{(L)}] 生成一系列隐藏状态。 在我们的实验中,我们保留了编码器隐藏表示前半部分的最后一个隐藏表示 h(L)\bm{h}^{(L)} 和浅层表示 h(l)\bm{h}^{(l)}: h(L),h(l) =Encoder(u), where 1≤l≤⌊L2⌋.{\bm{h}^{(L)}, \bm{h}^{(l)}} \ = \mathrm{Encoder}( \bm{u} ), \quad\text{ where } 1 \leq l \leq \bigl\lfloor\tfrac{L}{2}\bigr\rfloor. 请注意,两个隐藏表示 h(L),h(l)∈RT×dh\bm{h}^{(L)}, \bm{h}^{(l)} \in \mathbb{R}^{T \times d_h} 的长度都表示为 TT,隐藏维度都表示为 dhd_{h}。

然后将从编码器提取的隐藏表示传递到聚合器。 聚合器旨在获得更压缩的语音表示 z\bm{z},其长度与文本转录 v\bm{v} 对齐。 考虑到 v=[v1,v2,…,vN],vi∈V\bm{v}=[v_1, v_2, \ldots, v_N], v_i \in \mathbb{V} 是长度为 NN 的文本 token序列,聚合器的输入和输出可以表示为: z=Aggregator(v,h(L),h(l)), where z∈RN×dz,v∈VN, and h(L),h(l)∈RT×dh.\bm{z} = \mathrm{Aggregator}(\bm{v}, \bm{h}^{(L)}, \bm{h}^{(l)}), \text{ where } \bm{z} \in \mathbb{R}^{N \times d_z}, \bm{v} \in \mathbb{V}^{N}, \text{ and } \bm{h}^{(L)}, \bm{h}^{(l)} \in \mathbb{R}^{T \times d_h}. 为了使语音表示 z\bm{z} 文本对齐,我们基于三个输入进行简单而有效的注意机制。 考虑到 Vaswani et al. (2017) 中的原始多头注意力表示为 MultiHead(Q,K,V)\mathrm{MultiHead}(Q, K, V),聚合器中的第一层注意力采用: Q=text transcription v,K=encoder last hidden h(L),V=encoder shallow hidden h(l).{Q}= \text{text transcription } \bm{v}, \quad {K}= \text{encoder last hidden } \bm{h}^{(L)}, \quad {V}= \text{encoder shallow hidden } \bm{h}^{(l)}. 通过这样做,我们的第一个多头注意力输出的长度应遵循文本转录 v\bm{v}。 请注意,后续层的查询将成为前一层的输出。 此外,使用编码器的最后隐藏表示作为键、浅层隐藏表示作为值的直觉可以描述如下: 1)在基于 Transformer 的 ASR 模型中,最后隐藏状态通常编码丰富的语音文本对齐线索; 有时,交叉注意力权重矩阵甚至可以用作软单词对齐映射 (Radford et al. 2023; Gandhi, Platen, and Rush 2023)。 2)即使在应用 (Du, Chen, et al. 2024; Du, Wang, et al. 2024) 量化时,浅层表示也已被证明支持高质量语音重建。 基于上述观察,我们设计了聚合器,它可以使用从最后的编码器表示和文本转录获得的软注意图来聚合浅层编码器表示,这些表示已被证明有利于高端语音重建。

得到文本对齐表示后,采用量化器Quantizer(⋅)\mathrm{Quantizer}(\cdot)对文本对齐表示进行离散化。 我们使用残差矢量量化(RVQ)来允许从粗到细的量化。 给定文本对齐的语音表示 z\bm{z} 和包含 RR 残差矢量量化层的量化器,我们生成: ,其中每个 q(r)∈CN\bm{q}^{(r)} \in \mathbb{C}^{N} 表示具有代码集 C\mathbb{C} 的第 rr 层代码序列; 量化嵌入 z^\hat{\bm{z}} 是码本向量每层的总和。 请注意,代码序列和量化语音嵌入 z^\hat{\bm{z}} 都是文本对齐的,长度为 NN。

q,z^=Quantizer(z), q=[q(1),q(2),…,q(R)],z^=∑r=1Rz^(r)\bm{q}, \hat{\bm{z}} = \mathrm{Quantizer}(\bm{z}), \text{ \qquad } \bm{q}=[\bm{q}^{(1)}, \bm{q}^{(2)}, \ldots, \bm{q}^{(R)}], \quad \hat{\bm{z}}=\sum^{R}_{r=1}\hat{\bm{z}}^{(r)}

我们的文本对齐语音 token化和嵌入的总体框架。 左侧展示了获取TASTE代币化z^\hat{\bm{z}}的过程,详见3.1.1节; 而右侧演示了我们如何使用 TASTE 重建语音(3.1.2 部分)。 我们的语音重建的训练目标在 3.1.3 节中讨论。

TASTE 语音解码器

语音解码器旨在以文本 token序列和文本对齐语音 token化为条件执行语音重建。 如图 2 所示,文本和语音 token在长度上对齐,并以自回归方式加权求和后馈入语音解码器。 语音解码器由两个组件组成:单元解码器和单元到语音声码器。

单元解码器 UnitDecoder(⋅)\mathrm{UnitDecoder}(\cdot) 是一个基于 Transformer 的解码器,它以文本 token序列 v\bm{v} 和对齐的语音嵌入 z^\hat{\bm{z}} 作为条件,预测用于重建的语音单元 y\bm{y}: 请注意,附加的说话人嵌入也被视为输入,以方便我们口语模型中的全局说话人语音控制 (Ju et al. 2024)。 在生成语音单元 y\bm{y} 后,我们使用单元到语音声码器将该单元进一步转换为重构语音。

y=UnitDecoder(z^,v).\bm{y} = \mathrm{UnitDecoder}(\hat{\bm{z}}, \bm{v}).

培训目标

与其他基于重建的语音 token (Zhang et al. 2024; Liu et al. 2025) 类似,我们通过对其进行语音再合成训练来导出 TASTE。 为此,我们从原始语音 uu 中提取长度为 T′T' 的语音单元 ytarget\bm{y}^{\text{target}} 作为语音 token器和语音解码器的目标单元。 给定文本转录 v\bm{v}、TASTE 语音嵌入 z^\hat{\bm{z}} 以及来自原始语音 ytarget\bm{y}^{\text{target}} 的单元作为目标,在下一个预测模式下通过 θ\theta 参数化的分词器和单元解码器进行的语音重建可以被认为是最小化下面的交叉熵损失: 另一方面,我们采用 量化损失以及标记从编码器聚合器提取的连续表示 z\bm{z}。 根据先前的工作 (Défossez et al. 2023; Zeghidour et al. 2021),假设 z(r)\bm{z}^{(r)} 是第 rr 个残差,而 z^(r)\hat{\bm{z}}^{(r)} 表示第 rr 个量化残差,则承诺损失定义为: 通过对两个损失求和,我们将训练 TASTE 的总体损失表示为:

Lce(θ)=1∣T′∣∑t=1T′−log pθ(yttarget∣z^,v;y<ttarget)\begin{aligned} \mathcal{L}_{\text{ce}}(\theta) = \frac{1}{|T'|} \sum_{t=1}^{T'} - \text{log } p_{\theta}({y}^{\text{target}}_t \big| \hat{\bm{z}} , \bm{v}; \bm{y}^{\text{target}}_{<t}) \end{aligned}
Lrvq(θ)=∑r=1R∥z(r)−z^(r)∥.\begin{aligned} \mathcal{L}_{\text{rvq}}(\theta) = \sum_{r=1}^R \| \bm{z}^{(r)} - \hat{\bm{z}}^{(r)} \|. \end{aligned}
Ltaste=Lce+Lrvq.\begin{aligned} \mathcal{L}_{\text{taste}} = \mathcal{L}_{\text{ce}} + \mathcal{L}_{\text{rvq}} \text{.} \end{aligned}

TASTE 用于口语建模

接下来,我们描述如何使用 TASTE 进行有效的口语建模。 继之前的工作(Hassid et al. 2023; Nguyen et al. 2025)之后,我们对语音数据进行预训练。 语音数据的文本转录还用于我们的文本对齐口语模型(TASLM)的联合语音文本预训练。 由于 TASTE 标记化已经与文本 token序列对齐,因此我们可以进行简单的联合建模,如图 1 所示。 为了证明 TASTE 的稳健性,我们执行两种类型的文本对齐口语建模。 首先,我们在文本对齐的语音 token q\bm{q} 上构建 TASLMtoken\rm{TASLM}_\text{token},这在 3.2.1 节中讨论。 然后,我们展示如何使用文本对齐语音嵌入 z^\hat{\bm{z}} 构建 TASLMemb\rm{TASLM}_{\text{emb}},详细信息请参见第 3.2.2 节。

建模 TASTE 代币

由于从 RVQ 量化器派生的语音 token包含 RR 代码层,因此我们在 TASLMtoken\rm{TASLM}_\text{token} 中采用 RR 线性头进行多头预测。 即,TASLMtoken\rm{TASLM}_\text{token} 在每一步中同时预测下一个文本 token和相应的 RR 层语音 token。 总体训练目标遵循原始的下一个令牌预测方案,但每个步骤都有跨模式的多个预测。 具体来说,给定量化 RVQ 代码 q\bm{q} 的文本转录 v\bm{v} 和 RR 层,多头下一个令牌预测训练目标可以表示为: 其中 ϕ\phi 表示 TASLMtoken\mathrm{TASLM}_{\text{token}} 的参数,p(r)p^{(r)} 是 第 rr 第 rr 个 RVQ 代码的概率预测。 至于推理,我们直接对代码和文本同时采样,并将代码转换为相应的嵌入,供语音解码器生成语音。

Ltoken(ϕ)=1∣N∣∑i=1N(−log pϕtext(vi∣v<i,q<i)+∑r=1R−log pϕ(r)(qi(r)∣v<i,q<i)),\begin{aligned} \mathcal{L}_{\text{token}}(\phi) = \frac{1}{|N|} \sum_{i=1}^{N} \Bigl( -\text{log } p^{\text{text}}_{\phi}\bigl({v}_{i} \big| \bm{v}_{<i}, \bm{q}_{<i} \bigr) + \sum_{r=1}^{R} - \text{log } p^{\text{(r)}}_{\phi} \big({q}^{\text{(r)}}_i \big| \bm{v}_{<i}, \bm{q}_{<i} \bigr) \Bigr), \end{aligned}

建模 TASTE 嵌入

除了令牌代码集之外,潜在建模 (Kim et al. 2024; Meng et al. 2024; Sun et al. 2024; Fan et al. 2025) 的最新进展激励我们进行文本对齐语音嵌入建模实验。 参考 MELLE (Meng et al. 2024),我们采用线性层来预测均值向量 μi\mu_i 和对数幅度方差向量 log σi2\text{log }\sigma^2_i,其中 ii 表示序列的第 ii 帧。 帧ii的最终预测潜伏记为ei=μi+σi⊙ϵe_i = \mu_i + \sigma_i \odot \epsilon,其中ϵ∼N(0,I)\epsilon \sim \mathcal{N}(0, I)。 在 MELLE 之后,应用直通估计器以允许梯度在训练期间正确反向传播。

为了促进潜在预测,我们在训练中应用正则化损失和 Kullback-Leibler (KL) 散度损失,描述如下:,其中 ψ\psi 表示 TASLMemb\mathrm{TASLM}_{\text{emb}} 的参数,dzd_z 是文本对齐嵌入 z^\hat{\bm{z}} 的维度。 采用正则化损失 Lreg\mathcal{L}_{\text{reg}} 来预测目标嵌入 z^\hat{\bm{z}} 的接近潜伏。 KL 散度损失计算预测潜在分布和目标分布之间的 KL 散度。 按照 MELLE,我们选择目标分布为 N(z^i,I)\mathcal{N}({\hat{\bm{z}}}_i, I)。 这允许简化 LKL\mathcal{L}_{\text{KL}},然后可以用预测向量 μi,σi,and the target embedding z^i\mu_i, \sigma_i, \text{and the target embedding } \hat{\bm{z}}_i 进行近似。 最后,整体损失和文本损失被描述为:,其中λreg,λKL\lambda_{\text{reg}}, \lambda_{\text{KL}}分别是两个损失的加权系数。

Lreg(ψ)=∥eψ−z^∥22,LKL=12∑i=1N∑j=1dz(σi[j]+(μi[j]−z^i[j])2)−1−log σi2[j]),\begin{aligned} \mathcal{L}_{\text{reg}}(\psi) = \| \bm{e}_{\psi} - \hat{\bm{z}} \|^2_2, \quad \mathcal{L}_{\text{KL}} = \frac{1}{2} \sum^{N}_{i=1} \sum^{d_{z}}_{j=1} \bigl(\sigma_i[j] + (\mu_i[j]-\hat{z}_i[j])^2) -1 -\text{log } \sigma^2_i[j]\bigl), \\ \end{aligned}
Lemb(ψ)=λreg⋅Lreg+λKL⋅LKL+1∣N∣∑i=1N−log pψtext(vi∣v<i,z^<i),\begin{aligned} \mathcal{L}_{\text{emb}}(\psi) = \lambda_{\text{reg}} \cdot \mathcal{L}_{\text{reg}} + \lambda_{\text{KL}} \cdot \mathcal{L}_{\text{KL}} + \frac{1}{|N|} \sum_{i=1}^{N} -\text{log } p^{\text{text}}_{\psi}\bigl({v}_{i} \big| \bm{v}_{<i}, \hat{\bm{z}}_{<i} \bigr), \end{aligned}

实验装置

型号配置

对于我们的 TASTE 语音 token器,我们从 Whisper (Radford et al. 2023) 初始化编码器。 通过这样做,我们可以减少获取 ASR 转录和提取 TASTE 标记化之间的计算成本,并在训练期间冻结 TASTE 编码器。 另一方面,我们使用 Du, Chen, et al. (2024) 中的 S3 token 作为语音重建的目标单元。 由于它们的语音 token化有助于额外的说话人嵌入,因此我们遵循相同的过程来获得一个。 添加说话人嵌入可以实现全局说话人语音控制,这对于口语模型来说是一个合理且有用的场景。 单元到语音的声码器由流模型 (Lipman et al. 2022; Mehta et al. 2022) 和 HifiGAN 组成。 我们使用Du, Chen, et al. (2024)发布的预训练 flow model 与 HifiGAN,它们不参与我们的训练。 对于量化器,我们将 RVQ 层设置为 R=4R=4,码本大小设置为 512512,码本维度设置为 256256。 对于口语建模,我们遵循之前的工作 (Hassid et al. 2023) 并从文本 LLM 初始化我们的口语模型。 然而,这引入了 ASR 和 LLM 之间的词汇不匹配问题。 我们通过使用词级 TASTE 标记化和嵌入来解决此问题,附录 A.4 中有详细说明。 此外,我们对 TASLM 进行 LoRA 微调,超参数等级为 r=64r=64 和 α=128\alpha=128。

数据集

我们使用两个数据集——Emilia 和 LibriTTS——作为我们的训练数据集。 Emilia (He et al. 2024) 是一个野外数据集,其中语音是网络规模的,转录是伪标记的。 我们只使用这个多语言语料库的英语子集,大约需要 40,000 小时。 LibriTTS (Zen et al. 2019) 是基于 LibriSpeech (Panayotov et al. 2015) 的阅读式语料库。 我们使用 LibriTTS 中的所有训练片段进行训练,大约是 600 小时的语音。 此外,LibriSpeech 中的测试干净分割用于评估我们的 TASTE 分词器和 TASLM。

结果

我们将实验结果分为两部分。 5.1部分讨论了TASTE如何在实现良好的重建质量的同时实现有效的联合口语建模; 而 Seciton 5.2 则展示了我们的联合标记化和文本对齐 SLM 的附加结果和消融研究。

主要结果

为了展示我们联合标记化的好处,我们首先评估 TASTE 在语音重建方面的性能; 然后介绍它如何进行有效的口语建模。 为简单起见,每个部分都介绍了评估指标。

TASTE 用于语音重建

评估

我们从两个方面评估我们的联合标记化:质量和相似性。 对于质量评估,我们使用 ASR-WER、UTMOS (Saeki et al. 2022) 和 DNS-MOS (Reddy, Gopal, and Cutler 2021) 作为评估指标。 在ASR-WER中,我们使用HuBERT-Large (W.-N. Hsu et al. 2021)作为ASR模型来转录重建的语音,然后计算转录的词错误率(WER)。 1 UTMOS 和 DNS-MOS 都是基于神经的 MOS 预测器。 虽然两者都评估语音质量,但DNS-MOS的设计目的使其更适合评估噪声水平。 对于相似性评估,我们测量 ViSQOL、持续时间一致性 (Drtn. Con.)、说话者相似性 (Spkr. Sim.) 和 MUSHRA 人类听力测试分数。 ViSQOL (Chinen et al. 2020) 是一款可立即投入生产的工具,可通过谱时图像相似性比较来预测语音质量。 为了保持持续时间的一致性,我们首先使用蒙特利尔强制对齐器 (McAuliffe et al. 2017) 对原始语音和重构语音的转录进行词级对齐; 然后我们计算每个相同单词之间的持续时间是否在预设的容差窗口(设置为 50 毫秒)下匹配。 在MUSHRA人类听力测试中,我们遵循原始协议(Series 2014)来指示评估者在给定参考的情况下按照1到100的等级对相似性和质量进行评级。

TABLE 1

LibriSpeech 测试干净分割的语音 token化评估结果。 评估分为质量评估和相似性评估,如第 5.1.1 节中所述。 我们使用灰色文本来指示每个指标中表现最差的方法。 频率。 表示每秒的令牌数。 所有报告的结果都已经考虑了涉及文本转录时 ASR 错误的影响(纯文本和 TASTE)。
方法频率比特率质量相似度
WER ↓UTMOSDNSMOSViSQOLDrtn. Con.Spkr. Sim.MUSHRA
地面真相 16k 256k 2.1% 4.09 3.84 - - - 76.6
Encodecα^\alpha 75 1500 5.1% 1.58 3.26 3.46 0.94 0.63 -
75 3000 2.6% 2.35 3.48 3.81 0.96 0.78 25.6
50 500 5.2% 1.27 2.99 2.80 0.94 0.35 -
SpeechTokenizerβ^\beta 50 2000 3.0% 3.56 3.60 3.65 0.97 0.80 53.9
50 4000 2.5% 3.90 3.76 4.03 0.98 0.92 -
Mimiγ^\gamma 12.5 1000 3.1% 3.60 3.60 3.62 0.96 0.82 67.6
S3 tokenθ^\theta(顶线) 25 600 3.0% 4.18 3.90 3.30 0.96 0.82 70.2
纯文本(基线) ∼\sim3 ∼\sim50 5.9% 4.31 4.11 2.44 0.57 0.78 42.6
TASTE(我们的) ∼\sim3 ∼\sim150 4.4% 4.29 4.10 3.05 0.91 0.80 68.3
α^\alpha Défossez et al. (2023)、β^\beta Zhang et al. (2024)、γ^\gamma Défossez et al. (2024)、θ^\theta (Du, Chen, et al. 2024)

结果分析

表 1 报告 LibriSpeech 上语音重建的结果。 为了更好地了解 TASTE 的有效性,我们强调三个主要观察结果。 1)由于我们的令牌是文本对齐的,因此 TASTE 在所有令牌化方法中以最低的频率和比特率运行。 我们通过计算令牌总数并累积测试集的持续时间来估计这些动态值。 2)尽管比特率极低,TASTE 在质量评估中仍实现了与更高比特率方法相当甚至更优异的性能。 特别是,TASTE 产生的 ASR-WER 比纯文本基线更低,我们将其归因于携带副语言信息的语音 token,从而提高了重构语音的自然度。 3)就相似性而言,TASTE 在多个指标上的表现与高比特率、固定下采样方法相当。 ViSQOL 上的较差结果可部分归因于我们使用基于流的声码器,因为 TASTE 和 S3 token 顶线都表现出较弱的 ViSQOL 性能 - 这种现象在 Liu et al. (2025) 中也观察到。 ViSQOL 上的这种退化并未反映在 MUSHRA 听力测试中,其中 TASTE 从人类的角度获得了有竞争力的感知质量和相似性。 一般来说,TASTE 显着优于纯文本基线,证实它携带足够的副语言信息以允许高质量的语音重建。

TASTE 用于口语建模

TABLE 2

预训练的 SLM 语音延续和基于可能性的下一个语音选择结果。 表底部的上标表示每个SLM使用的基础模型,用上标表示。 级联模型是指具有 ASR (Radford et al. 2023) 的管道、LM (Touvron et al. 2023) 的文本延续和 TTS (Du, Chen, et al. 2024)。 这使我们能够从连续的角度评估级联模型的 SLM。
方法微调/基本参数续可能性
GPT-4oUTMOS人类SALMONStoryCloze整体
级联
级联 (LLaMA3.2-1Bα^\alpha) - 3.15 4.25 4.00 - - -
级联 (LLaMA2-7Bβ^\beta) - 3.43 4.25 3.98 - - -
口语 LM
TWIST 1.3B (Hassid et al. 2023) 1.3B / 1.3Bθ^\theta 1.48 3.25 1.95 62.5 61.5 62.0
TWIST 7B (Hassid et al. 2023) 7B / 7Bγ^\gamma 1.44 3.27 2.04 63.4 64.7 64.1
Spirit LM (Nguyen et al. 2025) 7B / 7Bβ^\beta 2.79 3.41 2.38 59.1 72.0 65.6
Spirit LM Expr. (Nguyen et al. 2025) 7B / 7Bβ^\beta 1.90 3.40 2.41 69.0 66.2 67.6
基线 (S3 token) 45M / 1.3Bα^\alpha 1.37 4.04 2.84 50.2 58.7 54.5
TASLM 1B(代币) 45M / 1.3Bα^\alpha 3.08 4.07 3.93 60.8 76.5 68.7
TASLM 1B(嵌入) 45M / 1.3Bα^\alpha 3.16 4.22 4.16 57.7 76.7 67.2
基本型号:α^\alphaLLaMA3.2-1B、β^\betaLLaMA2-7B、γ^\gammaLLaMA-7B、θ^\thetaOPT-1.3B

TASTE 专为实现有效的联合口语建模 (SLM) 而设计。 为了检查其有效性,我们按照 3.2 节中的方法在 TASTE 之上训练预训练的 SLM。 与之前的工作 (Nguyen et al. 2025; Lin et al. 2024) 一致,我们从两个角度评估这些模型:语音延续评估和基于可能性的评估。

语音延续评估

首先,按照 Hassid et al. (2023; Lin et al. 2024) 的方法,每个预训练 SLM 都以 LibriSpeech test-clean 中的 3 秒语音片段为条件,并使用各自的解码方案生成语音延续。随后从两个主要方面评估生成结果:语义连贯性与语音自然度。在语义方面,我们使用 ASR 转写这些延续,并要求 GPT-4o 根据连贯性给出 MOS 分数。在语音自然度方面,我们计算 UTMOS,作为语音质量的客观指标。此外,人工评测者还会给出同时考虑连贯性与自然度的综合 MOS 分数。提供给 GPT-4o 和人工评测者的详细说明见附录 A.3.2。

基于似然的评估

沿用既有工作 (Hassid et al. 2023; Nguyen et al. 2025; Lin et al. 2024),我们还通过基于似然的基准评估 SLM:根据预训练 SLM 的输出似然,判断它能否从两段给定语音中选出正确的延续,并据此计算准确率。我们采用两个成熟基准:SALMON (Maimon, Roth, and Adi 2024) 与 spoken StoryCloze (Hassid et al. 2023; Mostafazadeh et al. 2016),它们分别覆盖声学与语义两个方面。由于两个基准都包含多项任务,为简洁起见,我们报告各基准内部所有任务的平均准确率。详细结果见附录 A.1.5。我们还报告 SALMON 与 StoryCloze 的均值,作为对这两个方面的综合评估。

结果分析

TASLM 与其他预训练的 SLM 相比的结果如表 2 所示,可以观察到三个主要优点。 1)与其他预训练的 SLM 相比,TASLM 在人类和机器评估中的语音延续方面取得了明显更好的性能,同时在基于可能性的基准上也表现出竞争力。 值得注意的是,这是通过在相对较小的 1.3B 基础语言模型上仅进行 LoRA 微调来实现的,说明了 TASTE 对于联合建模的有效性。 2)与具有相同基础 LM 的级联模型相比,我们的 TASLMemb\rm{TASLM}_\text{emb} 在 GPT-4o 上取得了可比的分数,但具有更高的人类 MOS。 这表明其生成的语音比在延续过程中仅依赖 TTS 的级联系统更自然。 TASLM是唯一一个不仅保持甚至超越其相应基于文本的模型性能的SLM,凸显了语音 token建模的重要性。 3)在Xie and Wu (2024a)之后直接使用S3 token进行联合建模虽然在语音重建方面超越了TASTE,但在各方面的性能都很差。 这表明虽然重建质量至关重要,但它并不是口语建模标记化的唯一考虑因素。 总而言之,这些结果凸显了 TASTE 的核心贡献:构建联合标记化,促进更有效的联合口语建模。

附加结果

用于文本对齐语音编辑的 TASTE 的插图。 左边显示了我们文本对齐语音编辑的过程。 我们首先提取TASTE代币; 部分交换代币; 然后将编辑后的 TASTE 令牌解码为编辑后的语音。 右侧显示了可视化示例。 仅交换 TASTE 令牌的单词的持续时间显示出显着差异。

TASTE 用于文本对齐语音编辑

除了上述主要结果之外,我们还报告了一些有趣的观察结果,进一步展示了 TASTE 的多功能性。 首先,TASTE 自然地支持文本对齐语音编辑,如图 3 所示。 假设我们有两个具有相同转录本但不同副语言特征的话语。 通过逐字交换它们的 TASTE 标记序列,我们询问相关的副语言特征是否也被转移。 为了使效果清晰,我们选择主要在语速方面不同的话语,并使用 MFA (McAuliffe et al. 2017) 检查持续时间变化。 如图 3 所示,在特定单词位置交换标记会导致相应的单词表现出明显的持续时间变化,而未触及的单词保留其原始时间,这证明 TASTE 能够实现精确的文本对齐操作。 这一观察结果也呼应了我们在 1 节中介绍的设计原则:语音 token应该避免冗余编码文本内容,而是集中于传达副语言信息。 我们的演示页面上提供了针对其他副语言维度的其他示例。

TASLM 语音问答

接下来,我们有趣地发现我们的 TASLM 在少镜头场景 (Brown et al. 2020) 下表现出口语 QA 能力。 我们是表 2 中唯一展示此功能的预训练 SLM。 因此,我们将其与表 3 中的其他指令微调联合 SLM 进行比较,以更好地了解性能。 我们使用两个口语问答基准,Web Questions (Berant et al. 2013) 和 LLaMA-Questions (Nachmani et al. 2024),遵循 Défossez et al. (2024)。 我们报告答案包含准确率。 为了更全面地评估添加语音的影响,我们还报告了每个系统底层基础文本 LLM 的性能。 值得注意的是,TASLM 是唯一保留其基本文本 LLM 性能的方法。 我们将此归因于 TASTE 的联合 token 化策略。 具体来说,我们在文本和语音 token之间采用简单的一对一映射,从而实现简单有效的联合建模。

TABLE 3

口语问答评价。 跨模式的性能按行进行比较,其中 T 是文本,S 表示语音。
方法 模式 Web Q. LLaMA-Q。
Mini-Omni 0.5B(T→\xrightarrow{}T) T 21.3 39.0
Mini-Omni 0.5B T+S 4.5 11.6
Helium 7B(文本) T 32.3 75.0
Moshi 7B T+S 26.6 62.3
LLaMA3.1-8B-Instruct T 60.4 71.7
Llama-Omni-8B T+S 35.5 67.3
LLaMA3.2-1B†^\dagger T 24.0 51.0
TASLM 1B(嵌入)†^\dagger T+S 27.1 57.6
†^\dagger 我们应用小样本学习来促进问题回答。

TABLE 4

TASTE语音分词器中各模块效果的消融研究。 Enc. 是编码器,Agg. 是聚合器,Quan. 是量化器。 *:top-5 准确率。
模块 频率 S3 token Acc.*
Enc. 50Hz 0.98
Enc. + Agg. ∼\sim3Hz 0.88
Enc. + Agg. + Quan. ∼\sim3Hz 0.76
Enc.(最后) 50Hz 0.84
Enc. + Agg.(最后) ∼\sim3Hz 0.78
纯文本 ∼\sim3Hz 0.65

TASTE Speech Tokenizer 的消融研究

我们在 TASTE 语音 token器上运行消融,并使用 S3 token top-5 重建精度作为信息保留的代理。 表 4 首先涵盖了我们的编码器、聚合器和量化器的模块级消融。 聚合器大幅降低了代币率,而准确率仅略有下降。 添加量化器会进一步降低准确性,但性能仍然远高于纯文本基线。 其次,我们表明仅使用最后一个隐藏状态 h(L)\mathbf{h}^{(L)} 的性能比使用浅层隐藏状态 h(l)\mathbf{h}^{(l)}(作为聚合器的值)要差,这证实了我们的设计选择。

结论

在这项工作中,我们提出了 Text-Aligned Speech Tokenization and Embedding (TASTE),以促进联合文本-语音口语建模。 通过专门的交叉注意机制聚合适当的编码器表示并以 ASR 模型作为初始化,我们使语音 token化以端到端的方式进行文本对齐,而不需要显式的单词对齐。 通过我们的文本对齐语音 token化和嵌入,联合文本语音建模变得简单而有效。 我们进行了大量的实验,证明了开发针对口语建模的联合标记化的好处。 我们预计这些发现会鼓励对生成模型更有效的联合标记化进行进一步研究。

限制

我们当前工作的一些局限性表明了未来发展的有希望的途径。 首先,虽然我们预先训练的口语模型可以生成高质量的音频延续,但它缺乏轮流和指令遵循的机制; 开发对话系统是下一步的实际步骤。 其次,TASTE目前已在英语上进行了评估; 确认其在其他语言中的普遍性仍然是未来的工作。 第三,我们的标记化方法是为联合 SLM 量身定制的,其对其他生成任务的适用性仍未得到充分探索。 第四,我们的管道目前专注于具有词汇内容的单说话人语音,并且没有明确处理多说话人、重叠或非词汇事件(例如笑声、咳嗽)。 未来的工作可以通过合并目标语音提取 (Zmolikova et al. 2023) 和非词汇事件标签来支持这些功能。 最后,系统延迟和流性能还有待针对实时应用程序进行优化。 总体而言,这些限制都不是根本性障碍; 相反,它们是自然的扩展和研究目标,将进一步增强 TASTE 框架的多功能性。

道德声明

TASTE 实现口语模型的高效开发。 它降低了构建语音系统的门槛,提高了人机交互的可访问性和便利性。 同时,它也引发了安全问题:使用 TASTE 构建的系统可以更轻松地模仿人的声音并合成令人信服的个性化语音。 此外,TASTE 的文本对齐语音编辑使语音操作变得简单。 总体而言,TASTE 为有益的应用程序提供了明确的实用性,但负责任的部署(与同意、出处和反滥用保护措施相结合)对于减轻滥用风险至关重要。 另一方面,这项研究包括以主观听力测试形式进行的人类评估。 注释员是从 Amazon Mechanical Turk 招募的,并根据平台推荐的费率获得公平的报酬。 所有参与者都提供了知情同意书,并且没有收集任何个人信息。 评估所使用的音频材料不包含敏感内容。 该研究遵循言语感知研究中普遍采用的道德标准。

致谢

这项工作得到了台湾国家科学技术委员会 (NSTC) 的部分支持,拨款 NSTC 113-2634-F-002-008,曾良轩得到了 NSTC 研究生研究奖学金 (NSTC-GRF) 的支持。 我们还要感谢匿名审稿人的建设性意见,这些意见可以在 https://openreview.net/forum?id=6STb8DauN1 找到。

参考文献

  1. Ahasan, Md Mubtasim, Md Fahim, Tasnim Mohiuddin, Akmmahbubur Rahman, Aman Chadha, Tariq Iqbal, M Ashraful Amin, Md Mofijul Islam, and Amin Ahsan Ali. 2025. “DM-Codec: Distilling Multimodal Representations for Speech Tokenization.” In Findings of the Association for Computational Linguistics: EMNLP 2025.
  2. Arora, Siddhant, Kai-Wei Chang, Chung-Ming Chien, Yifan Peng, Haibin Wu, Yossi Adi, Emmanuel Dupoux, Hung-Yi Lee, Karen Livescu, and Shinji Watanabe. 2025. “On the Landscape of Spoken Language Models: A Comprehensive Survey.” arXiv Preprint arXiv:2504.08528.
  3. Baevski, Alexei, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. 2020. “Wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations.” In Advances in Neural Information Processing Systems.
  4. Berant, Jonathan, Andrew Chou, Roy Frostig, and Percy Liang. 2013. “Semantic Parsing on Freebase from Question-Answer Pairs.” In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing.
  5. Brown, Tom, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, et al. 2020. “Language Models Are Few-Shot Learners.” Advances in Neural Information Processing Systems.
  6. Chen, Li-Wei, and Alexander Rudnicky. 2022. “Fine-Grained Style Control in Transformer-Based Text-to-Speech Synthesis.” In ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).
  7. Chen, Sanyuan, Shujie Liu, Long Zhou, Yanqing Liu, Xu Tan, Jinyu Li, Sheng Zhao, Yao Qian, and Furu Wei. 2024. “Vall-e 2: Neural Codec Language Models Are Human Parity Zero-Shot Text to Speech Synthesizers.” arXiv Preprint arXiv:2406.05370.
  8. Chiang, Cheng-Han, and Hung-yi Lee. 2023. “Can Large Language Models Be an Alternative to Human Evaluations?” In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers).
  9. Chinen, Michael, Felicia SC Lim, Jan Skoglund, Nikita Gureev, Feargus O’Gorman, and Andrew Hines. 2020. “ViSQOL V3: An Open Source Production Ready Objective Speech and Audio Metric.” In 2020 Twelfth International Conference on Quality of Multimedia Experience (QoMEX).
  10. Défossez, Alexandre, Jade Copet, Gabriel Synnaeve, and Yossi Adi. 2023. “High Fidelity Neural Audio Compression.” Transactions on Machine Learning Research.
  11. Défossez, Alexandre, Laurent Mazaré, Manu Orsini, Amélie Royer, Patrick Pérez, Hervé Jégou, Edouard Grave, and Neil Zeghidour. 2024. “Moshi: A Speech-Text Foundation Model for Real-Time Dialogue.” arXiv Preprint arXiv:2410.00037.
  12. Du, Zhihao, Qian Chen, Shiliang Zhang, Kai Hu, Heng Lu, Yexin Yang, Hangrui Hu, et al. 2024. “Cosyvoice: A Scalable Multilingual Zero-Shot Text-to-Speech Synthesizer Based on Supervised Semantic Tokens.” arXiv Preprint arXiv:2407.05407.
  13. Du, Zhihao, Yuxuan Wang, Qian Chen, Xian Shi, Xiang Lv, Tianyu Zhao, Zhifu Gao, et al. 2024. “Cosyvoice 2: Scalable Streaming Speech Synthesis with Large Language Models.” CoRR.
  14. Fan, Lijie, Luming Tang, Siyang Qin, Tianhong Li, Xuan Yang, Siyuan Qiao, Andreas Steiner, et al. 2025. “Unified Autoregressive Visual Generation and Understanding with Continuous Tokens.” arXiv Preprint arXiv:2503.13436.
  15. Fang, Qingkai, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, and Yang Feng. 2024. “Llama-Omni: Seamless Speech Interaction with Large Language Models.” CoRR.
  16. Gandhi, Sanchit, Patrick von Platen, and Alexander M Rush. 2023. “Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling.” arXiv Preprint arXiv:2311.00430.
  17. Graves, Alex. 2012. “Sequence Transduction with Recurrent Neural Networks.” arXiv Preprint arXiv:1211.3711.
  18. Hassid, Michael, Tal Remez, Tu Anh Nguyen, Itai Gat, Alexis Conneau, Felix Kreuk, Jade Copet, et al. 2023. “Textually Pretrained Speech Language Models.” Advances in Neural Information Processing Systems.
  19. He, Haorui, Zengqiang Shang, Chaoren Wang, Xuyuan Li, Yicheng Gu, Hua Hua, Liwei Liu, et al. 2024. “Emilia: An Extensive, Multilingual, and Diverse Speech Dataset for Large-Scale Speech Generation.” In 2024 IEEE Spoken Language Technology Workshop (SLT).
  20. Hotelling, Harold. 1992. “Relations Between Two Sets of Variates.” In Breakthroughs in Statistics: Methodology and Distribution. Springer.
  21. Hsu, Pin-Lun, Yun Dai, Vignesh Kothapalli, Qingquan Song, Shao Tang, Siyu Zhu, Steven Shimizu, Shivam Sahni, Haowen Ning, and Yanning Chen. 2024. “Liger Kernel: Efficient Triton Kernels for Llm Training.” arXiv Preprint arXiv:2410.10989.
  22. Hsu, Wei-Ning, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, and Abdelrahman Mohamed. 2021. “Hubert: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units.” IEEE/ACM Transactions on Audio, Speech, and Language Processing.
  23. Hu, Edward J, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. 2021. “Lora: Low-Rank Adaptation of Large Language Models.” arXiv Preprint arXiv:2106.09685.
  24. Ju, Zeqian, Yuancheng Wang, Kai Shen, Xu Tan, Detai Xin, Dongchao Yang, Yanqing Liu, et al. 2024. “Naturalspeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models.” International Conference on Machine Learning.
  25. Kim, Jaehyeon, Keon Lee, Seungjun Chung, and Jaewoong Cho. 2024. “Clam-Tts: Improving Neural Codec Language Model for Zero-Shot Text-to-Speech.” ICLR.
  26. Kingma, Diederik P. 2015. “Adam: A Method for Stochastic Optimization.” In International Conference on Learning Representations.
  27. Kumar, Rithesh, Prem Seetharaman, Alejandro Luebs, Ishaan Kumar, and Kundan Kumar. 2023. “High-Fidelity Audio Compression with Improved Rvqgan.” Advances in Neural Information Processing Systems.
  28. Lakhotia, Kushal, Eugene Kharitonov, Wei-Ning Hsu, Yossi Adi, Adam Polyak, Benjamin Bolte, Tu-Anh Nguyen, et al. 2021. “On Generative Spoken Language Modeling from Raw Audio.” Transactions of the Association for Computational Linguistics.
  29. Li, Yadong, Jun Liu, Tao Zhang, Song Chen, Tianpeng Li, Zehuan Li, Lijun Liu, et al. 2025. “Baichuan-Omni-1.5 Technical Report.” arXiv Preprint arXiv:2501.15368.
  30. Lin, Guan-Ting, Prashanth Gurunath Shivakumar, Aditya Gourav, Yile Gu, Ankur Gandhe, Hung-yi Lee, and Ivan Bulyko. 2024. “Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback.” arXiv Preprint arXiv:2411.01834.
  31. Lipman, Yaron, Ricky TQ Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. 2022. “Flow Matching for Generative Modeling.” The Eleventh International Conference on Learning Representations.
  32. Liu, Alexander H, Sang-gil Lee, Chao-Han Huck Yang, Yuan Gong, Yu-Chiang Frank Wang, James R Glass, Rafael Valle, and Bryan Catanzaro. 2025. “UniWav: Towards Unified Pre-Training for Speech Representation Learning and Generation.” The Thirteenth International Conference on Learning Representations.
  33. Loshchilov, Ilya, and Frank Hutter. 2019. “Decoupled Weight Decay Regularization.” In International Conference on Learning Representations.
  34. Maimon, Gallil, Amit Roth, and Yossi Adi. 2024. “Salmon: A Suite for Acoustic Language Model Evaluation.” arXiv Preprint arXiv:2409.07437.
  35. McAuliffe, Michael, Michaela Socolof, Sarah Mihuc, Michael Wagner, and Morgan Sonderegger. 2017. “Montreal Forced Aligner: Trainable Text-Speech Alignment Using Kaldi.” In Interspeech 2017.
  36. Mehta, Shivam, Ambika Kirkland, Harm Lameris, Jonas Beskow, Éva Székely, and Gustav Eje Henter. 2022. “OverFlow: Putting Flows on Top of Neural Transducers for Better TTS.” Interspeech 2023.
  37. Meng, Lingwei, Long Zhou, Shujie Liu, Sanyuan Chen, Bing Han, Shujie Hu, Yanqing Liu, et al. 2024. “Autoregressive Speech Synthesis Without Vector Quantization.” CoRR.
  38. Mostafazadeh, Nasrin, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. 2016. “A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories.” Proceedings of NAACL-HLT.
  39. Nachmani, Eliya, Alon Levkovitch, Roy Hirsch, Julian Salazar, Chulayuth Asawaroengchai, Soroosh Mariooryad, Ehud Rivlin, RJ Skerry-Ryan, and Michelle Tadmor Ramanovich. 2024. “Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM.” In The Twelfth International Conference on Learning Representations.
  40. Nguyen, Tu Anh, Eugene Kharitonov, Jade Copet, Yossi Adi, Wei-Ning Hsu, Ali Elkahky, Paden Tomasello, et al. 2023. “Generative Spoken Dialogue Language Modeling.” Transactions of the Association for Computational Linguistics.
  41. Nguyen, Tu Anh, Benjamin Muller, Bokai Yu, Marta R Costa-Jussa, Maha Elbayad, Sravya Popuri, Christophe Ropers, et al. 2025. “Spirit-Lm: Interleaved Spoken and Written Language Model.” Transactions of the Association for Computational Linguistics.
  42. Panayotov, Vassil, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. 2015. “Librispeech: An ASR Corpus Based on Public Domain Audio Books.” In 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).
  43. Pasad, Ankita, Ju-Chieh Chou, and Karen Livescu. 2021. “Layer-Wise Analysis of a Self-Supervised Speech Representation Model.” In 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU).
  44. Radford, Alec, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. 2023. “Robust Speech Recognition via Large-Scale Weak Supervision.” In International Conference on Machine Learning.
  45. Rasley, Jeff, Samyam Rajbhandari, Olatunji Ruwase, and Yuxiong He. 2020. “Deepspeed: System Optimizations Enable Training Deep Learning Models with over 100 Billion Parameters.” In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.
  46. Reddy, Chandan KA, Vishak Gopal, and Ross Cutler. 2021. “DNSMOS: A Non-Intrusive Perceptual Objective Speech Quality Metric to Evaluate Noise Suppressors.” In ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).
  47. Saeki, Takaaki, Detai Xin, Wataru Nakata, Tomoki Koriyama, Shinnosuke Takamichi, and Hiroshi Saruwatari. 2022. “Utmos: Utokyo-Sarulab System for Voicemos Challenge 2022.” Interspeech 2022.
  48. Sekoyan, Monica, Nithin Rao Koluguri, Nune Tadevosyan, Piotr Zelasko, Travis Bartley, Nick Karpov, Jagadeesh Balam, and Boris Ginsburg. 2025. “Canary-1B-V2 & Parakeet-TDT-0.6 b-V3: Efficient and High-Performance Models for Multilingual ASR and AST.” arXiv Preprint arXiv:2509.14128.
  49. Series, B. 2014. “Method for the Subjective Assessment of Intermediate Quality Level of Audio Systems.” International Telecommunication Union Radiocommunication Assembly.
  50. Siuzdak, Hubert, Florian Grötschla, and Luca A Lanzendörfer. 2024. “Snac: Multi-Scale Neural Audio Codec.” Audio Imagination: NeurIPS 2024 Workshop AI-Driven Speech, Music, and Sound Generation.
  51. Sun, Yutao, Hangbo Bao, Wenhui Wang, Zhiliang Peng, Li Dong, Shaohan Huang, Jianyong Wang, and Furu Wei. 2024. “Multimodal Latent Language Modeling with Next-Token Diffusion.” arXiv Preprint arXiv:2412.08635.
  52. Touvron, Hugo, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, et al. 2023. “Llama: Open and Efficient Foundation Language Models.” arXiv Preprint arXiv:2302.13971.
  53. Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. “Attention Is All You Need.” Advances in Neural Information Processing Systems.
  54. Wang, Chengyi, Sanyuan Chen, Yu Wu, Ziqiang Zhang, Long Zhou, Shujie Liu, Zhuo Chen, et al. 2023. “Neural Codec Language Models Are Zero-Shot Text to Speech Synthesizers.” arXiv Preprint arXiv:2301.02111.
  55. Xie, Zhifei, and Changqiao Wu. 2024a. “Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming.” arXiv Preprint arXiv:2408.16725.
  56. ———. 2024b. “Mini-Omni2: Towards Open-Source Gpt-4o with Vision, Speech and Duplex Capabilities.” arXiv Preprint arXiv:2410.11190.
  57. Xin, Detai, Xu Tan, Kai Shen, Zeqian Ju, Dongchao Yang, Yuancheng Wang, Shinnosuke Takamichi, et al. 2024. “Rall-e: Robust Codec Language Modeling with Chain-of-Thought Prompting for Text-to-Speech Synthesis.” arXiv Preprint arXiv:2404.03204.
  58. Xin, Detai, Xu Tan, Shinnosuke Takamichi, and Hiroshi Saruwatari. 2024. “Bigcodec: Pushing the Limits of Low-Bitrate Neural Speech Codec.” arXiv Preprint arXiv:2409.05377.
  59. Xu, Hainan, Fei Jia, Somshubra Majumdar, He Huang, Shinji Watanabe, and Boris Ginsburg. 2023. “Efficient Sequence Transduction by Jointly Predicting Tokens and Durations.” In International Conference on Machine Learning.
  60. Zeghidour, Neil, Alejandro Luebs, Ahmed Omran, Jan Skoglund, and Marco Tagliasacchi. 2021. “Soundstream: An End-to-End Neural Audio Codec.” IEEE/ACM Transactions on Audio, Speech, and Language Processing.
  61. Zen, Heiga, Viet Dang, Rob Clark, Yu Zhang, Ron J Weiss, Ye Jia, Zhifeng Chen, and Yonghui Wu. 2019. “Libritts: A Corpus Derived from Librispeech for Text-to-Speech.” Interspeech 2019.
  62. Zeng, Aohan, Zhengxiao Du, Mingdao Liu, Kedong Wang, Shengmin Jiang, Lei Zhao, Yuxiao Dong, and Jie Tang. 2024. “Glm-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot.” arXiv Preprint arXiv:2412.02612.
  63. Zhang, Xin, Dong Zhang, Shimin Li, Yaqian Zhou, and Xipeng Qiu. 2024. “Speechtokenizer: Unified Speech Tokenizer for Speech Large Language Models.” ICLR.
  64. Zmolikova, Katerina, Marc Delcroix, Tsubasa Ochiai, Keisuke Kinoshita, Jan Černockỳ, and Dong Yu. 2023. “Neural Target Speech Extraction: An Overview.” IEEE Signal Processing Magazine.

附录

补充结果

TABLE 5

关于 ASR 如何影响我们的 TASTE 标记器在语音重建方面的性能的消融研究。 GT:真实转录。
方法 WER UTMOS DNS-MOS ViSQOL Drtn. Con. Spkr. Sim.
TASTE(带 ASR) 4.4% 4.29 4.10 3.05 0.91 0.80
TASTE(带 GT) 4.6% 4.24 4.08 3.06 0.91 0.81

TABLE 6

关于 ASR 如何影响我们的 SLM 在口语 QA 上的消融研究。
方法 Web-Q LLaMA-Q
TASLM(带 ASR) 27.1 57.6
TASLM(带 GT) 28.0 57.7

TABLE 7

使用不同的 ASR 模型进行 SLM 延续语义评估的消融研究。 总体而言,我们没有观察到显着的相对性能差异。
评估模型 TWIST 1.3B TWIST 7B Spirit LM Spirit LM Expr. S3 token TASLM(代币) TASLM(嵌入)
Whisper + GPT-4o 1.48 1.44 2.79 1.90 1.37 3.08 3.16
nvidia-鹦鹉 + GPT-4o 1.38 1.49 2.76 2.06 1.42 3.20 3.37

ASR效果的消融研究

由于我们的标记化、SLM 以及使用 GPT-4o 的评估都依赖于 ASR 系统来提取文本转录,因此我们进行了多项消融研究来评估 ASR 对性能的影响。 1)在表 5 和表 6 中,我们研究了 ASR 如何影响我们的 TASTE 分词器在语音重建上的性能和 TASLM 在口语问答上的性能。 我们的结果表明,在标记化和 SLM 阶段,ASR 错误带来的性能下降几乎可以忽略不计,这主要归因于最近 ASR 系统的鲁棒性。 请注意,我们在正文中的先前实验中没有使用任何真实转录。 2)我们研究了在 GPT-4o 的语义一致性评估之前替换用于生成转录本的 ASR 如何影响报告的分数。 如表 7 所示,我们使用另一个名为 nvidia-parakeet (Sekoyan et al. 2025) 的 ASR 模型,该模型采用 RNN-T (Graves 2012; Xu et al. 2023) 主干。 结果表明,使用 Whisper 和 nvidia-parakeet ASR 系统之间没有显着的相对性能差异。 与其他预训练的 SLM 相比,TASLM 在两种评估设置中都取得了更好的结果。

聚合器交叉注意力可视化

为了了解聚合器是否已经学习了文本语音对齐模式,我们在图 4 和图 5 中可视化其跨所有层和头部的交叉注意力图。

聚合器中最后一层的交叉注意力图。 如图所示,许多头部清楚地展示了文本语音对齐行为。

我们聚合器中第一层的交叉注意力图。 如图所示,其行为与图 4 中的最后一层有很大不同。 我们观察到一些特殊的头部:8th 头部显示出清晰的对齐; 而头部 19th 在静音部分亮起。

浅隐藏层选择的探讨

在3.1.1节中,我们建议使用Whisper编码器的浅层隐藏表示作为我们专业交叉注意力的关键,因为它携带丰富的声学信息。 实际中我们选择l=6l=6。 在表 4 中,这使我们能够在目标 S3 单元上实现接近最佳的重建精度。 为了进一步证明这一选择的合理性,我们遵循 Pasad, Chou, and Livescu (2021) 的分析方法,并计算每个 Whisper 编码器层和目标 S3 单元嵌入之间的典型相关分析(CCA;Hotelling (1992))。 得到的相似曲线如图6所示。 相关性在第 4 层到第 8 层达到峰值,表明这些浅层编码的表示与 S3 目标最一致,支持我们使用浅层隐藏状态的设计选择。 重要的是,表 4 还表明,虽然浅层的选择会影响可达到的上限,但它并没有对我们的方法施加严格的限制:即使使用与 S3 相关性低得多的最终编码器层,仍然会产生比纯文本基线更好的重建质量。

每个 Whisper 编码器层和 S3 目标嵌入之间的规范相关分析 (CCA)。 4–8 层与 S3 单元表现出最高的相关性,表明浅层表示包含与目标最相关的声学信息。

TABLE 8

分词器稳健性消融研究。 我们应用四种不同级别的噪声,信噪比 (SNR) 范围从 20dB(几乎干净)到 5dB(非常嘈杂)。 我们的方法在所有噪声水平上基本上实现了良好的重建质量。
方法比特率SNR=20dB(干净)信噪比=15dB信噪比=10dBSNR=5dB(有噪声)
WER ↓Sim. ↑排名WER ↓Sim. ↑排名WER ↓Sim. ↑排名WER ↓Sim. ↑排名
地面真相 256k 2.3% - - 2.5% - - 3.6% - - 9.2% - -
500 93.7% 0.193 13 97.7% 0.201 12 98.6% 0.205 12 98.3% 0.202 13
DACα^\alpha 1000 36.0% 0.292 11 55.0% 0.276 11 80.2% 0.278 11 94.5% 0.283 10
12000 2.5% 0.937 1 2.9% 0.924 1 4.7% 0.914 1 12.3% 0.907 1
500 98.7% 0.295 12 104.6% 0.264 12 107.1% 0.264 12 105.8% 0.283 12
DM-Codecβ^\beta 1000 33.9% 0.479 9 53.0% 0.447 9 77.4% 0.435 9 97.1% 0.415 9
4000 3.9% 0.737 5 6.4% 0.689 6 14.4% 0.647 6 38.5% 0.595 6
500 15.2% 0.334 9 33.9% 0.324 9 64.2% 0.301 9 91.7% 0.277 10
SpeechTokenizerγ^\gamma 2000 7.3% 0.773 8 16.3% 0.734 8 39.4% 0.682 8 73.8% 0.600 8
4000 4.4% 0.864 2 8.1% 0.822 4 21.0% 0.765 4 49.2% 0.684 5
BigCodecδ^\delta 1040 10.1% 0.829 7 17.8% 0.785 7 33.5% 0.718 7 63.0% 0.625 6
Mimiϵ^\epsilon 1000 5.1% 0.804 6 7.8% 0.772 5 14.7% 0.726 4 33.6% 0.673 4
S3 tokenζ^\zeta 600 3.9% 0.860 2 5.2% 0.841 2 8.1% 0.815 2 16.7% 0.779 3
TASTE(我们的) ∼\sim150 4.8% 0.842 4 5.3% 0.830 3 6.9% 0.815 2 11.1% 0.792 1
α^\alpha Kumar et al. (2023); β^\beta Ahasan et al. (2025); γ^\gamma Zhang et al. (2024); δ^\delta Xin, Tan, Takamichi, et al. (2024); ϵ^\epsilon Défossez et al. (2024); ζ^\zeta Du, Chen, et al. (2024)

鲁棒性消融

为了评估我们的分词器的鲁棒性,我们对语音重建进行了受控噪声水平实验。 具体来说,我们在原始波形中添加4不同级别的白噪声,然后评估重建性能。 噪声级别由信噪比 (SNR) 定义,范围从 20dB(几乎干净)到 5dB(非常嘈杂)。 我们报告了两个指标:ASR-WER 作为重建质量的指标,说话者相似度 (Sim.) 作为重建相似性的度量。 为了便于比较,我们还提供了考虑这两个指标的每个标记器的总体排名。 表 8 中的结果表明,我们的分词器在不同噪声水平下保持稳定,表现出很强的鲁棒性。 值得注意的是,TASTE 在最嘈杂的条件下实现了最佳的 ASR-WER。 这表明底层的ASR系统并不是TASTE普遍适用性的限制因素; 相反,它充当重建的有效且可靠的语义信息源。

SALMON 和 StoryCloze 的详细信息

我们对 SALMON 和 StoryCloze 的详细结果报告在表 9 中。 下面介绍SALMON和StoryCloze这两个基准的介绍。

TABLE 9

不同SLM对SALMON和StoryCloze的评价结果,BG表示背景。 我们报告了 SALMON(声学方面)和 StoryCloze(语义方面)的基于可能性的准确性。 基线(S3 token)是通过联合语音文本建模与 S3 token 作为语音 token化进行的。
方法LoRASALMon(声学一致性)StoryCloze
情绪音箱性别室BG(域)BG(随机)sSC / tSC
以前的作品
TWIST 1.3B ((Hassid et al. 2023)) 61.5±\pm3.4 69.0±\pm3.3 69.5±\pm3.3 59.0±\pm3.5 55.5±\pm3.5 60.5±\pm3.5 52.4±\pm0.8 / 70.6±\pm0.7
TWIST 7B ((Hassid et al. 2023)) 61.5±\pm3.4 71.0±\pm3.2 70.0±\pm3.2 62.0±\pm3.4 55.5±\pm3.5 60.5±\pm3.5 55.3±\pm0.8 / 74.1±\pm0.7
Spirit LM ((Nguyen et al. 2025)) 54.5±\pm3.5 69.5±\pm3.3 67.0±\pm3.3 54.5±\pm3.5 53.5±\pm3.5 55.5±\pm3.5 61.0±\pm0.8 / 82.9±\pm0.6
Spirit LM Expr. ((Nguyen et al. 2025)) 73.5±\pm3.1 81.0±\pm2.8 85.0±\pm2.5 54.5±\pm3.5 56.0±\pm3.5 64.0±\pm3.4 56.9±\pm0.8 / 75.4±\pm0.7
基线 (S3 token) 49.5±\pm3.5 48.8±\pm3.5 48.8±\pm3.5 49.5±\pm3.5 55.3±\pm3.5 49.5±\pm3.5 54.4±\pm0.8 / 63.0±\pm0.8
TASLM 1B(代币) 59.0±\pm3.5 68.0±\pm3.3 70.5±\pm3.2 61.0±\pm3.4 52.0±\pm3.5 54.0±\pm3.5 64.2±\pm0.8 / 88.9±\pm0.5
TASLM 1B(嵌入) 57.5±\pm3.5 67.0±\pm3.3 75.5±\pm3.0 50.0±\pm3.5 47.0±\pm3.5 49.0±\pm3.5 64.0±\pm0.8 / 89.5±\pm0.5

SALMON 用于声学评估

SALMON 提供了一套全面的指标,旨在从多个维度评估 SLM。 综上所述,每个测试样本由正样本和负样本组成。 负样本与正样本的不同之处在于某些片段发生了改变。 这些改变包括说话者、性别、环境(例如室内声学)或说话过程中情绪的变化。 SLM 用作异常检测器,旨在区分正样本和负样本对。 区别是基于每个 SLM 给出的似然得分,然后根据地面实况和预测之间的总体精度进行评估。

StoryCloze 用于语义评估

为了评估 SLM 理解语义连贯性和逻辑推理的能力,我们采用了 StoryCloze 测试(sSC)的口语版本和 Hassid et al. (2023) 组装的主题 StoryCloze 测试(tSC)。 对叙事理解的评估包括呈现一个四句话的故事结构,然后是两个可能的结局。 这些任务要求模型选择最合适的结论,从而测试其对叙述中因果关系和时间关系的掌握。 与 SALMON 类似,我们根据似然得分来衡量区分的准确性。

关于SALMON和StoryCloze的讨论

在 SALMON 上,我们观察到我们的 TASLM 不符合背景相关属性(房间、背景),其中样本添加了环境声音(回声、乐器、来自 FSD50K 的背景噪音)。 由于TASTE标记化专注于自然语音,并且没有接受过环境声音和噪声的音频训练,因此它可能无法传达此类信息。 然而,在语音相关属性(例如性别和说话者)上,我们的 TASLM 表现更好,与其他 SLM 相当。 在 StoryCloze 上,我们的 TASLM 成功地保留了其语义能力,并在 TASTE 上进行了有效的联合建模,从而在所有预训练的 SLM 中获得了最佳结果。

标准差报告

我们在正文中报告了表格的标准差,以便进一步调查。

TABLE 10

结果与表 1 的标准偏差
方法比特率质量相似度
WER ↓UTMOSDNSMOSViSQOLDrtn. Con.Spkr. Sim.MUSHRA
地面真相 256k 2.1%±\pm0.07 4.09±\pm0.32 3.84±\pm0.26 - - - 76.6±\pm15.9
Encodec (Défossez et al. 2023) 1500 5.1%±\pm0.11 1.58±\pm0.34 3.26±\pm0.24 3.46±\pm0.28 0.94±\pm0.003 0.63±\pm0.10 -
3000 2.6%±\pm0.08 2.35±\pm0.53 3.48±\pm0.25 3.81±\pm0.27 0.96±\pm0.002 0.78±\pm0.07 25.6±\pm18.6
500 5.2%±\pm0.11 1.27±\pm0.05 2.99±\pm0.17 2.80±\pm0.24 0.94±\pm0.003 0.35±\pm0.09 -
SpeechTokenizer (Zhang et al. 2024) 2000 3.0%±\pm0.08 3.56±\pm0.43 3.60±\pm0.28 3.65±\pm0.22 0.97±\pm0.002 0.80±\pm0.06 53.9±\pm22.9
4000 2.5%±\pm0.08 3.90±\pm0.36 3.76±\pm0.28 4.03±\pm0.17 0.98±\pm0.002 0.92±\pm0.04 -
Mimi (Défossez et al. 2024) 1000 3.1%±\pm0.09 3.60±\pm0.37 3.60±\pm0.30 3.62±\pm0.26 0.96±\pm0.002 0.82±\pm0.06 67.6±\pm19.8
S3 token(顶线)(Du, Chen, et al. 2024) 600 3.0%±\pm0.09 4.18±\pm0.27 3.90±\pm0.24 3.30±\pm0.26 0.96±\pm0.002 0.82±\pm0.09 70.2±\pm17.0
纯文本(基线) ∼\sim50 5.9%±\pm0.11 4.31±\pm0.16 4.11±\pm0.22 2.44±\pm0.23 0.57±\pm0.006 0.78±\pm0.09 42.6±\pm27.1
TASTE(我们的) ∼\sim150 4.4%±\pm0.11 4.29±\pm0.18 4.10±\pm0.22 3.05±\pm0.26 0.91±\pm0.003 0.80±\pm0.08 68.3±\pm17.1

TABLE 11

结果与表 2 的标准偏差。
方法微调/基本参数续可能性
GPT-4oUTMOS人类SALMONStoryCloze整体
级联
级联 (LLaMA3.2-1Bα^\alpha) - 3.15±\pm1.27 4.25±\pm0.22 4.00±\pm1.28 - - -
级联 (LLaMA2-7Bβ^\beta) - 3.43±\pm1.27 4.25±\pm0.25 3.98±\pm1.29 - - -
口语 LM
TWIST 1.3B (Hassid et al. 2023) 1.3B / 1.3Bθ^\theta 1.48±\pm0.70 3.25±\pm0.48 1.95±\pm1.01 62.5±\pm1.4 61.5±\pm0.5 62.0±\pm0.7
TWIST 7B (Hassid et al. 2023) 7B / 7Bγ^\gamma 1.44±\pm0.70 3.27±\pm0.52 2.04±\pm0.91 63.4±\pm1.4 64.7±\pm0.5 64.1±\pm0.7
Spirit LM (Nguyen et al. 2025) 7B / 7Bβ^\beta 2.79±\pm1.06 3.41±\pm0.19 2.38±\pm0.81 59.1±\pm1.4 72.0±\pm0.5 65.6±\pm0.7
Spirit LM Expr. (Nguyen et al. 2025) 7B / 7Bβ^\beta 1.90±\pm1.03 3.40±\pm0.30 2.41±\pm0.96 69.0±\pm1.3 66.2±\pm0.5 67.6±\pm0.7
基线 (S3 token) 45M / 1.3Bα^\alpha 1.37±\pm0.87 4.04±\pm0.27 2.84±\pm1.11 50.2±\pm1.4 58.7±\pm0.6 54.5±\pm0.8
TASLM 1B(代币) 45M / 1.3Bα^\alpha 3.08±\pm1.37 4.07±\pm0.28 3.93±\pm1.30 60.8±\pm1.4 76.5±\pm0.5 68.7±\pm0.7
TASLM 1B(嵌入) 45M / 1.3Bα^\alpha 3.16±\pm1.33 4.22±\pm0.21 4.16±\pm1.20 57.7±\pm1.4 76.7±\pm0.5 67.2±\pm0.7
基本型号:α^\alphaLLaMA3.2-1B、β^\betaLLaMA2-7B、γ^\gammaLLaMA-7B、θ^\thetaOPT-1.3B

TABLE 12

结果与表 3 的标准偏差。
方法 模式 Web Q. LLaMA-Q。
Mini-Omni 0.5B(T→\xrightarrow{}T) T 21.3±\pm0.9 39.0±\pm2.8
Mini-Omni 0.5B (Xie and Wu 2024a) T+A 4.5±\pm0.5 11.6±\pm1.8
Helium 7B(文本) T 32.3±\pm1.0 75.0±\pm2.5
Moshi 7B (Défossez et al. 2024) T+A 26.6±\pm1.0 62.3±\pm2.8
LLaMA3.1-8B-Instruct T 60.4±\pm1.1 71.7±\pm2.6
Llama-Omni-8B (Fang et al. 2024) T+A 35.5±\pm1.1 67.3±\pm2.7
LLaMA3.2-1B†^\dagger T 24.0±\pm0.9 51.0±\pm2.9
TASLM 1B(嵌入)†^\dagger T+A 27.1±\pm1.0 57.6±\pm2.9
†^\dagger我们应用小样本学习来促进问题回答。

培训详情

超参数和配置

我们将训练过程分为两个阶段:导出 TASTE 标记化并使用 TASTE 进行口语建模。 在标记化阶段,只有 Aggregator\mathrm{Aggregator}、Quantizer\mathrm{Quantizer} 和 UnitDecoder\mathrm{UnitDecoder} 是可训练的。 我们使用 Adam\mathrm{Adam} (Kingma 2015) 优化器,学习率设置为 0.0016。 我们使用 8 块 NVIDIA A6000 GPU,每块 GPU 的 batch size 设为 160 秒音频。 请注意,在前 2 个 epoch 中,不应用量化。 从第 3 个 epoch 开始,应用量化并开始更新 Quantizer\mathrm{Quantizer}。 我们将 TASTE 分词器训练 5 个 epoch,大约需要 2 天的学习时间,学习率逐渐衰减。

对于口语建模训练阶段,我们使用AdamW\mathrm{AdamW} (Loshchilov and Hutter 2019)优化器,Consine\mathrm{Consine}调度器,学习率设置为1e-5。 我们使用 8 Nvidia A6000 GPU 进行训练。 GPU 上的总批量大小总和设置为 768 样本,梯度累积步骤设置为 2。 为了减少内存开销和计算成本,我们在训练期间采用 bfloat16 混合精度。 还应用了 DeepSpeed (Rasley et al. 2020) 和 Liger Kernel (P.-L. Hsu et al. 2024) 等工具来加速 SLM 的微调过程。

评估详情

人类评估

我们通过 Amazon Mechanical Turk 进行人类听力测试。 在每次实验中,我们从每种方法中随机选择相同的20样本; 对于每个样本,我们收集了超过 10 的不同人类评估者的评估分数。

MUSHRA

在表 1 中,我们显示了 MUSRHA 人类听力测试 (Series 2014) 的结果。 遵循 Zhang et al. (2024),我们使用隐藏参考进行评估,但没有低通滤波锚点。 我们指示评估者按照 1 到 100 的范围来评估给定样本相对于真实情况的感知质量。

语音续传 MOS

在表 2 中,我们提到我们已经进行了人类听力测试来评估语音延续的整体性能。 在这里,我们给出人类语音延续MOS评估的指令如下:

在此测试中,每个样本将包含一个名为“提示”的短音频剪辑(3 秒)和一个名为“提示+继续”的较长音频剪辑(∼\sim15 秒)。 系统会要求您对“提示+继续”音频片段的语音质量进行评分,特别关注“继续”部分。 评级应基于您认为长音频是“提示”音频的适当延续的可能性。 具体而言,评级应基于以下等级: 1:差-“延续”不可区分或不自然。 2:差 - “延续”是 25% 可区分的。 3:一般 - “延续”是 50% 可区分且自然的。 4:好 - “延续”是 75% 可区分且自然的。 5:非常好——“延续”是可区分的、有意义的、自然的。 可区分是指“延续”中的单词是可区分的。 自然是指“继续”听起来像真人的声音,是在不考虑语音内容的情况下自然地延续提示。 有意义是指你不仅能区分单词,还能理解整个“提示+延续”的含义。

GPT-4o 用于 MOS 评估

正如5.1.2节中所介绍的,我们使用GPT-4o将MOS分数分配给语音延续结果(Chiang and Lee 2023; Lin et al. 2024)。 在这里,我们描述详细的过程。 首先,应用 Whisper-large-v3 来转录生成的语音。 然后,给定转录、提示音频中的文本内容和指令模板,GPT-4o 可以产生介于 1 和 5 之间的分数。 说明模板如下:

该任务是在给定文本提示的情况下评估预测文本延续的相关性和可能性。 您还应该考虑文本延续的含义是否有意义。 文本提示为:“{prompt}”,文本延续为:“{content}” 您必须给出从 1 到 5 的总体评分。 评级准则如下: 1:文本延续的可能性很小,并且与文本提示无关。 2:文本延续不太可能,并且与文本提示的相关性很小。 3:文本延续的可能性中等并且与文本提示相关。 4:文本延续很可能并且与文本提示相关。 5:文本延续非常有可能并且高度相关。 您应该按照以下步骤提供分数: 第一:用上述定义简要分析样本。 第二:必须遵循输出格式:我会将分数评为 _

解决词汇不匹配问题

词汇不匹配问题在于ASR和LLM之间的词汇集不同,并且TASTE与ASR的文本转录标记对齐。 考虑到给定文本转录 v\bm{v} 以及表示为 Vasr\mathbb{V}^{\text{asr}} 和 Vllm\mathbb{V}^{\text{llm}} 的 ASR 和 LLM 词汇集,ASR 标记化序列 vasr=[v1asr,v2asr,…,vNasr],viasr∈Vasr\bm{v}^{\text{asr}}=[v^{\text{asr}}_1, v^{\text{asr}}_2, \ldots, v^{\text{asr}}_N], v^{\text{asr}}_i \in \mathbb{V}^{\text{asr}} 和 LLM 标记化序列 vllm=[v1llm,v2llm,…,vMllm],villm∈Vllm\bm{v}^{\text{llm}}=[v^{\text{llm}}_1, v^{\text{llm}}_2, \ldots, v^{\text{llm}}_{M}], v^{\text{llm}}_i \in \mathbb{V}^{\text{llm}} 在标记 id 和序列长度方面可能不同。 由于 TASTE 标记和嵌入与 vasr\bm{v}^{\text{asr}} 对齐,因此我们需要派生一种方法将它们与 vllm\bm{v}^{\text{llm}} 对齐,以进行文本对齐的语音文本建模。 请注意,vasr\bm{v}^{\text{asr}} 和 vllm\bm{v}^{\text{llm}} 均代表 v\bm{v},我们建议通过词级分组、平均和对齐来缓解该问题,详细信息请参见算法 1。 通过将 TASTE 语音 token化制作到词级,我们能够将其与 LLM 的文本 token对齐,表示为 q~,z~\tilde{\bm{q}}, \tilde{\bm{z}}。 在实践中,我们还在TASTE标记化训练阶段采用了词级平均技术,确保词级TASTE标记化有利于高质量的重建。

ALGORITHM 1

初始化:文本转录 v=[word1,word2,…,wordW]\bm{v} = [\text{word}_1, \text{word}_2, \ldots, \text{word}_W] ASR 转录的标记 vasr=[v1asr,v2asr,…,vNasr]\bm{v}^{\text{asr}} = [v^{\text{asr}}_1, v^{\text{asr}}_2, \ldots, v^{\text{asr}}_N] TASTE 嵌入 z^=[z^1,z^2,…,z^N]\hat{\bm{z}} = [\hat{z}_1, \hat{z}_2, \ldots, \hat{z}_N] LLM 转录的标记 vllm=[v1llm,v2llm,…,vMllm]\bm{v}^{\text{llm}} = [v^{\text{llm}}_1, v^{\text{llm}}_2, \ldots, v^{\text{llm}}_{M}]

由于 vasr\bm{v}^{\text{asr}} 是表示 v\bm{v} 的标记序列,我们可以轻松地按单词对其进行分组: vgroupedasr←[(v1asr,v2asr,v3asr)1⏟word1,(v4asr)2⏟word2,…,(vN−1asr,vNasr)W⏟wordW]\bm{v}^{\text{asr}}_{\text{grouped}} \gets [\underbrace{({v}^{\text{asr}}_1, {v}^{\text{asr}}_2, {v}^{\text{asr}}_3)_1}_{\text{word}_1}, \underbrace{({v}^{\text{asr}}_4)_2}_{\text{word}_2}, \ldots, \underbrace{({v}^{\text{asr}}_{N-1}, \bm{v}^{\text{asr}}_N)_W}_{\text{word}_W}] 通过 vgroupedasr\bm{v}^{\text{asr}}_{\text{grouped}} 的词级分组,我们也可以对 TASTE 嵌入 z^\hat{\bm{z}} 进行分组: z^grouped←[(z^1,z^2,z^3)1,(z^4)2,…,(z^N−1,z^N)W]\hat{\bm{z}}_{\text{grouped}} \gets [(\hat{z}_1, \hat{z}_2, \hat{z}_3)_1, (\hat{z}_4)_2, \ldots, (\hat{z}_{N-1}, \hat{z}_N)_W] 最后,我们可以对 vllm\bm{v}^{\text{llm}} 遵循与 vasr\bm{v}^{\text{asr}} 类似的分组过程: vgroupedllm←[(v1llm,v2llm)1⏟word1,(v3llm,v4llm)2⏟word2,…,(vM−2llm,vM−1llm,vMllm)W⏟wordW]\bm{v}^{\text{llm}}_{\text{grouped}} \gets [\underbrace{({v}^{\text{llm}}_1, {v}^{\text{llm}}_2)_1}_{\text{word}_1}, \underbrace{({v}^{\text{llm}}_3, {v}^{\text{llm}}_4)_2}_{\text{word}_2}, \ldots, \underbrace{({v}^{\text{llm}}_{M-2}, {v}^{\text{llm}}_{M-1}, {v}^{\text{llm}}_{M})_W}_{\text{word}_W}] 由于词汇不匹配,vgroupedllm\bm{v}^{\text{llm}}_{\text{grouped}} 的分组与 vgroupedasr,\bm{v}^{\text{asr}}_{\text{grouped}}, z^grouped\hat{\bm{z}}_{\text{grouped}} 不同。 zˉ←[]\bar{\bm{z}} \gets [] 词组 (z^j,…,z^k)←z^grouped[i](\hat{z}_j, \ldots, \hat{z}_k) \gets \hat{\bm{z}}_{\text{grouped}}[i] zˉ[j:k]←Average((z^j,…,z^k)){\bar{z}}_{[j:k]} \gets \mathrm{Average}((\hat{z}_j, \ldots, \hat{z}_k)) 将 zˉ[j:k]{\bar{z}}_{[j:k]} 附加到 zˉ\bar{\bm{z}} 导致词级 TASTE 嵌入 zˉ∈RW×dz\bar{\bm{z}} \in \mathbb{R}^{W \times d_z},其中 WW 是 vv 的词数。 z~←[]\tilde{\bm{z}} \gets [] 词组 (vjllm,…,vkllm)←vgroupedllm[i]({v}^{\text{llm}}_j, \ldots, {v}^{\text{llm}}_k) \gets \bm{v}^{\text{llm}}_{\text{grouped}}[i] M←Length((vjllm,…,vkllm))M \gets \mathrm{Length}(({v}^{\text{llm}}_j, \ldots, {v}^{\text{llm}}_k)) 将 zˉ[i]\bar{\bm{z}}[i] 附加到 z~\tilde{\bm{z}} LLM 对齐的词级 TASTE 嵌入 z~\tilde{\bm{z}} 及其代码形成 q~\tilde{\bm{q}}

模态融合的加权求和机制

语音解码器以文本对齐的语音嵌入 z^\hat{\bm{z}} 和文本嵌入 v\bm{v} 作为输入条件。 如图2所示,在实践中我们执行加权和机制来获得最终的融合嵌入zjoint\bm{z}_{\text{joint}}。 融合两种模态的权重由两个可学习参数表示,表示为 wspw_\text{sp} 和 wtxtw_\text{txt}。 模态融合的整个过程可以表示为: z^′,v′=normalize(z^),normalize(v),[psp,ptxt]=softmax([wsp,wtxt]),zjoint=psp⋅z^′+ptxt⋅v′.\hat{\bm{z}}', \bm{v}' = \mathrm{normalize}(\hat{\bm{z}}) \text{,} \mathrm{normalize}(\bm{v}) \text{,} [p_\text{sp}, p_\text{txt}] = \mathrm{softmax}([w_\text{sp}, w_\text{txt}]), z_{\text{joint}} = p_\text{sp} \cdot \hat{\bm{z}}' + p_\text{txt} \cdot \bm{v}'\text{.}

LLM使用讨论

我们按照会议政策讨论 LLM 的使用。 我们使用人工智能助手(特别是 ChatGPT)来润色英语散文,包括语法纠正、措辞细化、一致的术语和连字符,以及为了清晰度和流畅性而进行的细微重组。 助理根据作者提供的内容建议替代措辞、章节桥接和标准披露/影响措辞。 它不会产生新颖的想法、主张、分析、数字、代码或结果,也不会访问专有数据。 所有技术内容和结论都是我们自己的,我们对所有人工智能辅助文本进行审查和编辑,并对最终稿件承担全部责任。

LLM WIKI · CONTEXT READER

AI 论文解读

DeepSeek V4 Flash

Enter 发送 · Shift + Enter 换行 · Esc 关闭