跳转到内容

输入关键词开始搜索

    文本对齐语音表示(TASTE)

    概念更新 2026-09-17置信度 high#概念#语音#表示学习#大模型#进阶

    以文本 token 为时间轴,为每个文本位置提取一个补充副语言信息的语音表示,从 tokenizer 阶段消除语音—文本序列长度错配。

    TASTE(Text-Aligned Speech Tokenization and Embedding)是一类联合语音—文本表示:文本 token 保留 lexical content,与它一一配对的 speech token / continuous audio latent 表示音色、时长、韵律和情绪等声学实现。

    它不是把语音均匀下采样到固定 Hz,而是让输出频率跟随文本 tokenizer。因此普通英语语音可从 25–75 Hz 的 speech tokens 压到约 3 个对齐位置/秒,同时让 Spoken LM 在一个位置预测 text 与 audio 两条通道。

    1. 不扩长 LM 序列:audio latent 不占额外 token 位置,保持文本预训练的序列规律。
    2. 降低模态重复:文本已经表达“说了什么”,语音支路可集中表达“怎么说”。
    3. 简化联合生成:每个 text token 与一个 speech representation 配对,不需要固定比例交织或大量 padding。
    4. 支持精确截断:对话被打断时,可按已经播放的文本位置截断上下文,使内部状态与用户实际听到的内容一致。
    5. 提供可编辑坐标:交换某个词位置的 speech representation,可局部改变该词的时长或韵律。

    给定 ASR 转写 token v\mathbf{v} 与语音 encoder 的帧级隐藏状态,使用:

    Q=text tokens,K=ASR final-layer states,V=ASR shallow-layer states.Q=\text{text tokens},\quad K=\text{ASR final-layer states},\quad V=\text{ASR shallow-layer states}.

    Cross-attention 的输出长度由 query 数量决定,所以每个文本 token 得到一个 audio representation。最终层提供软对齐线索,浅层保留更多声学细节。

    TASTE 用 RVQ 同时得到离散 codes 与量化 embedding;TASTE2 的 LM 预测连续 latent,但仍在目标生成路径中保留 RVQ。消融表明 RVQ 的主要作用是约束 latent 空间,使它可被 autoregressive LM 预测,而不是提高重建上限。

    每个位置包含:

    (ti,zi),(t_i,z_i),

    其中 tit_i 是 text token,ziz_i 是对齐 audio latent。输入时对两个 embedding 加权融合;输出时先预测 ti+1t_{i+1},再预测对应的 zi+1z_{i+1}。序列长度仍为文本长度 NN,而不是 N+MaudioN+M_{audio}。

    Detokenizer 将 (ti,zi)(t_i,z_i) 映射为较高帧率 S³ units,再由 CosyVoice / CosyVoice2 的 flow-matching model 与 vocoder 还原波形。TASTE2 以 5 个输入 pair 生成 15 个 S³ units,实现增量合成。

    • TASTE(2025/ICLR 2026):首次以重建目标端到端学习 text-aligned speech token;Whisper 与 LLaMA 词表不同,需 word-level averaging;系统仍是 utterance-level。
    • TASTE2(2026):共享 Qwen tokenizer,删除 word averaging;加入对话 SFT、model-gated turn decision、流式 CosyVoice2 与 barge-in-safe context feedback。
    • 仍待解决:无需完整 ASR 转写的因果对齐、更低 TTFA、非词汇声音、多说话人重叠、backchannel 与稳健副语言控制。
    • “TASTE 不需要文本”:错误。它依赖 ASR transcript 来形成 text-token query,解码也需要 text token。
    • “无显式对齐就是完全无对齐”:错误。它不需要 forced alignment 边界,但 cross-attention 仍在学习软对齐。
    • “约 150 bps 是通用 codec 码率”:错误。该数字不计文本、speaker embedding 和外部生成器的侧信息。
    • “一 token 一 latent 就等于一词一 latent”:原版因词表错配曾按词平均;TASTE2 才在共享 LM tokenizer 上严格按 subword token 配对。
    • “支持 barge-in 就是完整全双工”:不充分。完整全双工还包括 overlap generation、backchannel、echo handling 与持续双向状态管理。
    概念 核心目标 与 TASTE 的差异
    神经音频编解码(RVQ) 在固定帧率下压缩并重建音频 TASTE 的时间轴由文本 token 决定,并利用文本作侧信息
    S³ Tokenizer(监督语义语音分词器) 用 ASR 监督获得低帧率语义 units S³ 仍是固定 25 Hz;TASTE 可把它作为重建目标
    Tokenizer-Free TTS 避免离散 speech tokenizer TASTE2 虽预测连续 latent,训练中仍用 RVQ 约束目标空间
    流式语音合成 增量输出音频 TASTE 是表示接口;TASTE2 才补齐 streaming detokenizer 与系统调度
    ASR–LLM–TTS cascade 模块独立、文本作唯一接口 TASTE 仍模块化,但 audio latent 与文本并行穿过 LLM,保留部分副语言信息