资料摘要:TASTE
TASTE(Text-Aligned Speech Tokenization and Embedding)不是继续压低固定帧率 speech codec,而是以文本 token 作为查询,把 Whisper 的帧级表示聚合成与文本等长的副语言表示;它让文本内容与声学实现按位置成对进入 Spoken LM,以约 3 token/s 的速率保留说话人、时长和韵律信息,并显著减轻联合语音—文本建模的长度错配。
- 问题定义:常规语音 token 常为 12.5–75 Hz,远长于约 3 token/s 的文本序列;交织、padding 或多码本并行会扩大序列并扰动文本 LLM 的预训练规律。
- 关键表示:每个文本 token 对应一个 TASTE speech token / embedding;文本承担词义,TASTE 主要承担时长、音色、韵律等副语言信息。
- 无显式强制对齐:以文本 token 为 cross-attention query、Whisper 最后一层为 key、浅层表示为 value,让输出长度自然等于文本长度。
- 两种 Spoken LM:TASLM-token 同时预测文本与 4 层 RVQ code;TASLM-embedding 直接回归连续 embedding 的分布。二者都用 LoRA 适配文本 LLM。
- 主要结果:在 LibriSpeech test-clean 上,TASTE 约 3 Hz、约 150 bps,重建 WER 4.4%、UTMOS 4.29、MUSHRA 68.3;1B TASLM 的 continuation human MOS 达 4.16,StoryCloze 达 76.7。
- 重要边界:约 150 bps 只统计 TASTE speech token;解码还需要文本 token 与说话人 embedding,因此不能把它当成同条件下可独立传输音频的 150 bps codec。
- 直接遗留问题:Whisper 与 LLM 词表不同,需要先按词平均再复制到 LLM subword;原系统按整句合成,不支持 turn-taking、instruction following 或实时流式部署。
1. 设计动机:让语音表示补充文本,而不是重复文本
Section titled “1. 设计动机:让语音表示补充文本,而不是重复文本”TASTE 把联合语音—文本表示拆成两条等长通道:
- text token:携带 lexical / semantic content;
- aligned speech embedding:携带文本没有表达的 acoustic realization。
这与 EnCodec、Mimi、S³ 等固定频率 speech token 的出发点不同。后者先忠实压缩音频,再由下游模型处理与文本的长度关系;TASTE 在 tokenizer 阶段就把“每个文本位置需要什么声学补充信息”设为目标。
2. Speech Tokenizer
Section titled “2. Speech Tokenizer”设语音为 ,转写 token 为 。冻结的 Whisper encoder 输出最终层 与浅层 ,两者长度均为声学帧数 。
Aggregator 使用:
因此 cross-attention 输出 的长度由 query 决定,天然与文本等长。作者选择最终层作 key,是因为其包含较强语音—文本软对齐;选择 Whisper 第 6 层附近作 value,是因为浅层仍保留重建所需的声学细节。附录 CCA 显示第 4–8 层与目标 S³ embedding 的相关性最高。
随后用 4 层 RVQ、每层 512 个 code、256 维 codebook 对 量化:
3. Speech Decoder 与训练目标
Section titled “3. Speech Decoder 与训练目标”Speech Decoder 对归一化后的文本 embedding 与 TASTE embedding 做可学习加权和,再自回归预测 CosyVoice 的 S³ units。冻结的 CosyVoice flow model 与 HiFi-GAN 将 S³ units 还原为波形。
Stage 1 只训练 Aggregator、RVQ 和 Unit Decoder,目标为 S³ unit 交叉熵加 RVQ commitment loss。模型在 8 张 A6000 上训练 5 epochs;前两轮不启用量化,第三轮起加入 RVQ,总耗时约 2 天。
4. TASLM:文本与语音逐位置联合预测
Section titled “4. TASLM:文本与语音逐位置联合预测”- TASLM-token:每一步同时预测下一个文本 token 与 4 个 RVQ code。
- TASLM-embedding:预测连续 TASTE latent 的均值与方差,用重建正则、KL loss 与文本交叉熵联合训练。
基座为 LLaMA 3.2 1B,LoRA rank 64、,实际微调约 45M 参数。训练使用 English Emilia 约 40,000 小时与 LibriTTS 约 600 小时。
5. 词表错配是原版的关键技术债
Section titled “5. 词表错配是原版的关键技术债”Whisper tokenizer 与 LLM tokenizer 对同一句话产生不同 subword 边界。原版 TASTE 的处理是:
- 将 ASR token 与 TASTE embedding 按词分组;
- 对同一词中的 TASTE embedding 求平均;
- 把词级 embedding 复制到该词对应的每个 LLM subword。
这能完成训练,但会丢失词内细粒度信息、依赖语言的分词规则,也不利于对话模板与 token 级 turn boundary。资料摘要:TASTE2 的首要结构改动正是统一三组件的 tokenizer,删除这一步。
6. 重建与生成结果
Section titled “6. 重建与生成结果”| 指标 | Text-only | TASTE | S³ topline |
|---|---|---|---|
| 频率 | 约 3 Hz | 约 3 Hz | 25 Hz |
| 估算 bitrate | 约 50 bps | 约 150 bps | 600 bps |
| WER ↓ | 5.9% | 4.4% | 3.0% |
| UTMOS ↑ | 4.31 | 4.29 | 4.18 |
| Speaker similarity ↑ | 0.78 | 0.80 | 0.82 |
| MUSHRA ↑ | 42.6 | 68.3 | 70.2 |
TASTE 在极低 token rate 下接近 S³ 的主观结果,并明显优于只有文本的重建。通过交换同文本两段语音的局部 TASTE tokens,目标词的时长随之交换,而未交换词基本不变,说明表示确实具有文本位置级副语言可编辑性。
| 1B 系统 | Continuation GPT-4o | UTMOS | Human MOS | SALMON | StoryCloze |
|---|---|---|---|---|---|
| S³ baseline | 1.37 | 4.04 | 2.84 | 50.2 | 58.7 |
| TASLM-token | 3.08 | 4.07 | 3.93 | 60.8 | 76.5 |
| TASLM-embedding | 3.16 | 4.22 | 4.16 | 57.7 | 76.7 |
这组结果支持“重建质量不是 speech token 是否适合 LM 的充分条件”:S³ 重建更强,但按固定帧率直接联合建模明显更差。
7. 局限与批判性判断
Section titled “7. 局限与批判性判断”- 不是无文本语音编码:编码前需要 ASR 转写,解码也需要文本;“无需显式对齐”不等于无需 transcript。
- bitrate 比较条件不完全相同:文本、speaker embedding 和冻结生成器提供大量侧信息,TASTE 的 150 bps 不应直接解释为通用 codec 压缩率。
- 评测重合:训练重建目标是 S³ units,模块消融也用 S³ top-5 accuracy;该指标更适合分析训练路径,不能独立证明感知保真度。
- 语义结果规模有限:基座主要是 1B LLaMA、英语数据;spoken QA 使用 few-shot,不能直接外推到多语言、复杂指令或开放式对话。
- 环境声弱项与目标一致:SALMON 的 room/background 项较弱,说明把表示约束为“文本位置的副语言残差”会主动牺牲非词汇声音与场景声。
- 当前版本的贡献更像表示接口:真正有价值的不是单项重建 SOTA,而是把文本长度变成语音 LM 的统一时钟;TASTE2 随后验证这种接口可延伸到流式对话。
8. 开源与复现状态
Section titled “8. 开源与复现状态”- 官方代码与训练流程公开,包含 Stage 1/2 配置与推理示例。
- 官方项目页提供 demo、论文和模型入口。
- 本地原文:
私有原始资料层,arXiv v3,22 页,SHA-2561ab032ac96db47e2ef28c16fa9e310e5804f47896728b8c8f66cf0de058b3724`。
- 论文:Liang-Hsuan Tseng, Yi-Chang Chen, Kuan-Yi Lee, Da-Shan Shiu, Hung-yi Lee. TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling. arXiv:2504.07053v3;ICLR 2026。
- 训练数据:Emilia English 约 40,000 小时 + LibriTTS 约 600 小时。
- Stage 1:8×A6000、5 epochs、约 2 天;Stage 2:8×A6000、LoRA 约 45M 参数。
- 资料摘要:TASTE2 — 删除词级平均并扩展到流式、turn-taking 与 barge-in
- 文本对齐语音表示(TASTE) — 核心概念页
- TASTE 系列:从文本对齐表示到可打断语音系统 — 两篇论文的演进与证据边界
- LALM(大型音频语言模型)
- 神经音频编解码(RVQ)
- S³ Tokenizer(监督语义语音分词器)
- Wiki 目录