文本对齐语音表示(TASTE)
以文本 token 为时间轴,为每个文本位置提取一个补充副语言信息的语音表示,从 tokenizer 阶段消除语音—文本序列长度错配。
TASTE(Text-Aligned Speech Tokenization and Embedding)是一类联合语音—文本表示:文本 token 保留 lexical content,与它一一配对的 speech token / continuous audio latent 表示音色、时长、韵律和情绪等声学实现。
它不是把语音均匀下采样到固定 Hz,而是让输出频率跟随文本 tokenizer。因此普通英语语音可从 25–75 Hz 的 speech tokens 压到约 3 个对齐位置/秒,同时让 Spoken LM 在一个位置预测 text 与 audio 两条通道。
- 不扩长 LM 序列:audio latent 不占额外 token 位置,保持文本预训练的序列规律。
- 降低模态重复:文本已经表达“说了什么”,语音支路可集中表达“怎么说”。
- 简化联合生成:每个 text token 与一个 speech representation 配对,不需要固定比例交织或大量 padding。
- 支持精确截断:对话被打断时,可按已经播放的文本位置截断上下文,使内部状态与用户实际听到的内容一致。
- 提供可编辑坐标:交换某个词位置的 speech representation,可局部改变该词的时长或韵律。
1. Text-conditioned aggregation
Section titled “1. Text-conditioned aggregation”给定 ASR 转写 token 与语音 encoder 的帧级隐藏状态,使用:
Cross-attention 的输出长度由 query 数量决定,所以每个文本 token 得到一个 audio representation。最终层提供软对齐线索,浅层保留更多声学细节。
2. Predictability bottleneck
Section titled “2. Predictability bottleneck”TASTE 用 RVQ 同时得到离散 codes 与量化 embedding;TASTE2 的 LM 预测连续 latent,但仍在目标生成路径中保留 RVQ。消融表明 RVQ 的主要作用是约束 latent 空间,使它可被 autoregressive LM 预测,而不是提高重建上限。
3. Paired-channel language modeling
Section titled “3. Paired-channel language modeling”每个位置包含:
其中 是 text token, 是对齐 audio latent。输入时对两个 embedding 加权融合;输出时先预测 ,再预测对应的 。序列长度仍为文本长度 ,而不是 。
4. Speech reconstruction
Section titled “4. Speech reconstruction”Detokenizer 将 映射为较高帧率 S³ units,再由 CosyVoice / CosyVoice2 的 flow-matching model 与 vocoder 还原波形。TASTE2 以 5 个输入 pair 生成 15 个 S³ units,实现增量合成。
- TASTE(2025/ICLR 2026):首次以重建目标端到端学习 text-aligned speech token;Whisper 与 LLaMA 词表不同,需 word-level averaging;系统仍是 utterance-level。
- TASTE2(2026):共享 Qwen tokenizer,删除 word averaging;加入对话 SFT、model-gated turn decision、流式 CosyVoice2 与 barge-in-safe context feedback。
- 仍待解决:无需完整 ASR 转写的因果对齐、更低 TTFA、非词汇声音、多说话人重叠、backchannel 与稳健副语言控制。
- “TASTE 不需要文本”:错误。它依赖 ASR transcript 来形成 text-token query,解码也需要 text token。
- “无显式对齐就是完全无对齐”:错误。它不需要 forced alignment 边界,但 cross-attention 仍在学习软对齐。
- “约 150 bps 是通用 codec 码率”:错误。该数字不计文本、speaker embedding 和外部生成器的侧信息。
- “一 token 一 latent 就等于一词一 latent”:原版因词表错配曾按词平均;TASTE2 才在共享 LM tokenizer 上严格按 subword token 配对。
- “支持 barge-in 就是完整全双工”:不充分。完整全双工还包括 overlap generation、backchannel、echo handling 与持续双向状态管理。
与相邻概念的区别
Section titled “与相邻概念的区别”| 概念 | 核心目标 | 与 TASTE 的差异 |
|---|---|---|
| 神经音频编解码(RVQ) | 在固定帧率下压缩并重建音频 | TASTE 的时间轴由文本 token 决定,并利用文本作侧信息 |
| S³ Tokenizer(监督语义语音分词器) | 用 ASR 监督获得低帧率语义 units | S³ 仍是固定 25 Hz;TASTE 可把它作为重建目标 |
| Tokenizer-Free TTS | 避免离散 speech tokenizer | TASTE2 虽预测连续 latent,训练中仍用 RVQ 约束目标空间 |
| 流式语音合成 | 增量输出音频 | TASTE 是表示接口;TASTE2 才补齐 streaming detokenizer 与系统调度 |
| ASR–LLM–TTS cascade | 模块独立、文本作唯一接口 | TASTE 仍模块化,但 audio latent 与文本并行穿过 LLM,保留部分副语言信息 |