跳转到内容

输入关键词开始搜索

    资料摘要:TASTE

    论文摘要更新 2026-09-17置信度 high待阅读原始来源 ↗#论文#深度#语音#大模型#表示学习

    TASTE(Text-Aligned Speech Tokenization and Embedding)不是继续压低固定帧率 speech codec,而是以文本 token 作为查询,把 Whisper 的帧级表示聚合成与文本等长的副语言表示;它让文本内容与声学实现按位置成对进入 Spoken LM,以约 3 token/s 的速率保留说话人、时长和韵律信息,并显著减轻联合语音—文本建模的长度错配。

    • 问题定义:常规语音 token 常为 12.5–75 Hz,远长于约 3 token/s 的文本序列;交织、padding 或多码本并行会扩大序列并扰动文本 LLM 的预训练规律。
    • 关键表示:每个文本 token 对应一个 TASTE speech token / embedding;文本承担词义,TASTE 主要承担时长、音色、韵律等副语言信息。
    • 无显式强制对齐:以文本 token 为 cross-attention query、Whisper 最后一层为 key、浅层表示为 value,让输出长度自然等于文本长度。
    • 两种 Spoken LM:TASLM-token 同时预测文本与 4 层 RVQ code;TASLM-embedding 直接回归连续 embedding 的分布。二者都用 LoRA 适配文本 LLM。
    • 主要结果:在 LibriSpeech test-clean 上,TASTE 约 3 Hz、约 150 bps,重建 WER 4.4%、UTMOS 4.29、MUSHRA 68.3;1B TASLM 的 continuation human MOS 达 4.16,StoryCloze 达 76.7。
    • 重要边界:约 150 bps 只统计 TASTE speech token;解码还需要文本 token 与说话人 embedding,因此不能把它当成同条件下可独立传输音频的 150 bps codec。
    • 直接遗留问题:Whisper 与 LLM 词表不同,需要先按词平均再复制到 LLM subword;原系统按整句合成,不支持 turn-taking、instruction following 或实时流式部署。

    1. 设计动机:让语音表示补充文本,而不是重复文本

    Section titled “1. 设计动机:让语音表示补充文本,而不是重复文本”

    TASTE 把联合语音—文本表示拆成两条等长通道:

    • text token:携带 lexical / semantic content;
    • aligned speech embedding:携带文本没有表达的 acoustic realization。

    这与 EnCodec、Mimi、S³ 等固定频率 speech token 的出发点不同。后者先忠实压缩音频,再由下游模型处理与文本的长度关系;TASTE 在 tokenizer 阶段就把“每个文本位置需要什么声学补充信息”设为目标。

    设语音为 u\mathbf{u},转写 token 为 v=[v1,…,vN]\mathbf{v}=[v_1,\ldots,v_N]。冻结的 Whisper encoder 输出最终层 h(L)\mathbf{h}^{(L)} 与浅层 h(l)\mathbf{h}^{(l)},两者长度均为声学帧数 TT。

    Aggregator 使用:

    Q=v,K=h(L),V=h(l)Q=\mathbf{v},\qquad K=\mathbf{h}^{(L)},\qquad V=\mathbf{h}^{(l)}

    因此 cross-attention 输出 z∈RN×dz\mathbf{z}\in\mathbb{R}^{N\times d_z} 的长度由 query 决定,天然与文本等长。作者选择最终层作 key,是因为其包含较强语音—文本软对齐;选择 Whisper 第 6 层附近作 value,是因为浅层仍保留重建所需的声学细节。附录 CCA 显示第 4–8 层与目标 S³ embedding 的相关性最高。

    随后用 4 层 RVQ、每层 512 个 code、256 维 codebook 对 z\mathbf{z} 量化:

    q,z^=RVQ⁡(z),z^=∑r=14z^(r).\mathbf{q},\hat{\mathbf{z}}=\operatorname{RVQ}(\mathbf{z}),\qquad \hat{\mathbf{z}}=\sum_{r=1}^{4}\hat{\mathbf{z}}^{(r)}.

    Speech Decoder 对归一化后的文本 embedding 与 TASTE embedding 做可学习加权和,再自回归预测 CosyVoice 的 S³ units。冻结的 CosyVoice flow model 与 HiFi-GAN 将 S³ units 还原为波形。

    Stage 1 只训练 Aggregator、RVQ 和 Unit Decoder,目标为 S³ unit 交叉熵加 RVQ commitment loss。模型在 8 张 A6000 上训练 5 epochs;前两轮不启用量化,第三轮起加入 RVQ,总耗时约 2 天。

    4. TASLM:文本与语音逐位置联合预测

    Section titled “4. TASLM:文本与语音逐位置联合预测”
    • TASLM-token:每一步同时预测下一个文本 token 与 4 个 RVQ code。
    • TASLM-embedding:预测连续 TASTE latent 的均值与方差,用重建正则、KL loss 与文本交叉熵联合训练。

    基座为 LLaMA 3.2 1B,LoRA rank 64、α=128\alpha=128,实际微调约 45M 参数。训练使用 English Emilia 约 40,000 小时与 LibriTTS 约 600 小时。

    5. 词表错配是原版的关键技术债

    Section titled “5. 词表错配是原版的关键技术债”

    Whisper tokenizer 与 LLM tokenizer 对同一句话产生不同 subword 边界。原版 TASTE 的处理是:

    1. 将 ASR token 与 TASTE embedding 按词分组;
    2. 对同一词中的 TASTE embedding 求平均;
    3. 把词级 embedding 复制到该词对应的每个 LLM subword。

    这能完成训练,但会丢失词内细粒度信息、依赖语言的分词规则,也不利于对话模板与 token 级 turn boundary。资料摘要:TASTE2 的首要结构改动正是统一三组件的 tokenizer,删除这一步。

    指标 Text-only TASTE S³ topline
    频率 约 3 Hz 约 3 Hz 25 Hz
    估算 bitrate 约 50 bps 约 150 bps 600 bps
    WER ↓ 5.9% 4.4% 3.0%
    UTMOS ↑ 4.31 4.29 4.18
    Speaker similarity ↑ 0.78 0.80 0.82
    MUSHRA ↑ 42.6 68.3 70.2

    TASTE 在极低 token rate 下接近 S³ 的主观结果,并明显优于只有文本的重建。通过交换同文本两段语音的局部 TASTE tokens,目标词的时长随之交换,而未交换词基本不变,说明表示确实具有文本位置级副语言可编辑性。

    1B 系统 Continuation GPT-4o UTMOS Human MOS SALMON StoryCloze
    S³ baseline 1.37 4.04 2.84 50.2 58.7
    TASLM-token 3.08 4.07 3.93 60.8 76.5
    TASLM-embedding 3.16 4.22 4.16 57.7 76.7

    这组结果支持“重建质量不是 speech token 是否适合 LM 的充分条件”:S³ 重建更强,但按固定帧率直接联合建模明显更差。

    • 不是无文本语音编码:编码前需要 ASR 转写,解码也需要文本;“无需显式对齐”不等于无需 transcript。
    • bitrate 比较条件不完全相同:文本、speaker embedding 和冻结生成器提供大量侧信息,TASTE 的 150 bps 不应直接解释为通用 codec 压缩率。
    • 评测重合:训练重建目标是 S³ units,模块消融也用 S³ top-5 accuracy;该指标更适合分析训练路径,不能独立证明感知保真度。
    • 语义结果规模有限:基座主要是 1B LLaMA、英语数据;spoken QA 使用 few-shot,不能直接外推到多语言、复杂指令或开放式对话。
    • 环境声弱项与目标一致:SALMON 的 room/background 项较弱,说明把表示约束为“文本位置的副语言残差”会主动牺牲非词汇声音与场景声。
    • 当前版本的贡献更像表示接口:真正有价值的不是单项重建 SOTA,而是把文本长度变成语音 LM 的统一时钟;TASTE2 随后验证这种接口可延伸到流式对话。
    • 官方代码与训练流程公开,包含 Stage 1/2 配置与推理示例。
    • 官方项目页提供 demo、论文和模型入口。
    • 本地原文:私有原始资料层,arXiv v3,22 页,SHA-256 1ab032ac96db47e2ef28c16fa9e310e5804f47896728b8c8f66cf0de058b3724`。
    • 论文:Liang-Hsuan Tseng, Yi-Chang Chen, Kuan-Yi Lee, Da-Shan Shiu, Hung-yi Lee. TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling. arXiv:2504.07053v3;ICLR 2026。
    • 训练数据:Emilia English 约 40,000 小时 + LibriTTS 约 600 小时。
    • Stage 1:8×A6000、5 epochs、约 2 天;Stage 2:8×A6000、LoRA 约 45M 参数。