跳转到内容

输入关键词开始搜索

    资料摘要:TASTE2

    论文摘要更新 2026-09-17置信度 medium待阅读原始来源 ↗#论文#深度#语音#全双工#流式

    TASTE2 把原版 TASTE 从“整句级文本对齐语音表示”扩展成增量语音对话栈:Speech Tokenizer、Qwen2.5-7B Spoken LM 与 Speech Detokenizer 共享同一文本词表,每个文本 token 配一个连续 audio latent;VoiceBot 再用 VAD、语义 turn gate、流式 CosyVoice2 与播放同步反馈实现 turn-taking 和 barge-in。

    • 共享词表:三组件统一使用 Qwen tokenizer,删除 TASTE 的词级平均与跨词表复制,保留 subword 级声学细节。
    • 不扩长序列:audio latent 与 text token 是并行通道而非额外序列位置;TASTE2 (Merge) 在 LLaMA-Questions 上保留 Qwen2.5-7B Instruct 98.2% 的准确率。
    • RVQ 的新角色:Spoken LM 最终预测连续 latent,不预测 RVQ index;RVQ 作为离散瓶颈约束目标空间,使连续 latent 可预测,而不是为了提高 Stage 1 重建率。
    • 三阶段训练:表示学习 → Spoken LM 预训练 → 对话 SFT;SFT 共 143,507 段对话、781,443 turns、1,493 小时,大量由 GPT-4o、Llama-3.3-70B 与 TTS 合成。
    • 两条 instruction 路径:Base→TIES Merge→SFT 优于直接从 Instruct→SFT,说明 speech adaptation 与 instruction tuning 的权重整合本身是主要变量。
    • VoiceBot 系统:VAD/ASR/TASTE tokenization、Agent Response Generator、Agent Speech Generator 与 Orchestrator 四服务通过 WebSocket 协作;只把已经交付播放的 token 写回对话历史。
    • 全双工边界:支持快速 barge-in,但部署版普通响应只在 VAD 检测 speech end 后生成,不在用户说话时主动发言,也不产生 backchannel;更准确地说是 interruption-aware incremental dialogue。
    • 瓶颈仍是合成:TensorRT 后两张 A6000 的平均 TTFA 为 2.701 秒;论文确认 Agent Speech Generator 是主要端到端延迟瓶颈。

    1. 从 TASTE 到 TASTE2 的三项结构修正

    Section titled “1. 从 TASTE 到 TASTE2 的三项结构修正”
    原版 TASTE TASTE2
    Whisper tokenizer 与 LLM tokenizer 不同 Speech Tokenizer、Spoken LM、Detokenizer 共享 Qwen tokenizer
    按词平均后复制到 LLM subword 每个 LM token 直接对应一个 audio latent
    CosyVoice 整句合成 CosyVoice2 chunk-aware 流式合成
    LLaMA 3.2 1B、utterance continuation Qwen2.5-7B、ChatML 多轮对话

    Speech Tokenizer 冻结 Distil-Whisper encoder,替换 decoder 的输入词表并随机初始化,去掉 LM head,decoder 输出连续 embedding 进入 RVQ。Spoken LM 每一步先预测 text token,再预测与它配对的 audio latent。Speech Detokenizer 将 5 对 text/audio 输入增量转换为 15 个 25 Hz S³ units,冻结的 CosyVoice2 flow model 与 vocoder继续生成波形。

    TASTE2 文本对齐全双工语音系统 架构图
    TASTE2 文本对齐全双工语音系统 架构图

    TASTE2 不直接让 LM 生成离散 RVQ index,而是以 RVQ 合成后的最终连续 latent 作为回归目标。消融显示:

    配置 Stage 1 S³ accuracy Stage 2 latent L1 ↓ Stage 2 text accuracy ↑
    无 RVQ 46.83% 14,573 9.16%
    有 RVQ 23.56% 1.35 38.67%

    无 RVQ 时 Stage 1 重建更容易,但连续空间过于自由,Stage 2 LM 几乎无法学习,甚至拖累同一次 forward 中的文本目标。这里 RVQ 的价值不是保真,而是让目标空间具有足够低的条件熵与可预测结构。

    Stage 1–2 继续使用 Emilia 40,000 小时与 LibriTTS 600 小时。Stage SFT 包括:

    数据 对话数 Turns 时长
    DeepDialogue 37,000 223,673 466 h
    合成通用对话 48,000 388,021 778 h
    合成副语言控制 58,507 169,749 249 h
    合计 143,507 781,443 1,493 h

    通用对话由 GPT-4o 生成场景、Llama-3.3-70B 写多轮内容,再由 GPT-4o 改写 interruption、加入 disfluency 并做 judge,最后由 CosyVoice2 合成。副语言对话以 GPT-4o 与 Llama-3.3-70B 交替生成,由 IndexTTS 的 emotion vector 合成。

    4. Instruction-following 的两条初始化路径

    Section titled “4. Instruction-following 的两条初始化路径”
    • Merge:Stage 2 从 Qwen2.5-7B Base 开始;之后取 τ=Winstruct−Wbase\tau=W_{instruct}-W_{base},保留绝对值最大的 30%,按 λ=0.5\lambda=0.5 加到 Spoken LM backbone,再做对话 SFT。
    • Direct:Stage 2 直接从 Qwen2.5-7B-Instruct 开始,不做 task-vector merge。

    两条路径的 speech data、目标和 SFT 完全相同,因此 Merge 98.2% 对 Direct 92.4% 的 semantic retention 差异指向权重整合策略,而不只是 speech representation。

    5. 对话模板与 interruption-aware loss

    Section titled “5. 对话模板与 interruption-aware loss”

    TASTE2 使用 Qwen ChatML。System 段只有文本、audio latent 为零;User 与 Assistant 每个文本 token 都配真实 audio latent。正常 Assistant turn 对终止 <|im_end|> 计算 loss;被用户打断的 Assistant turn 仍学习打断点之前的内容,但把末尾 <|im_end|> 权重设为 0。

    用户 turn 是否结束也被表示成普通 next-token 概率。部署时 VAD 的 voice→silence 只触发检查,随后满足任一条件才开始回答:

    • <|im_end|> 出现在 top-800;
    • 或其概率超过 0.3。

    若候选 token 是标点,系统用 KV cache 多看一步,再判断第二个 token 的 turn-end 概率。

    6. VoiceBot:让模型状态只包含用户真正听到的内容

    Section titled “6. VoiceBot:让模型状态只包含用户真正听到的内容”

    四个 WebSocket 服务为:

    1. User Speech Processor:100 ms VAD chunk、流式 ASR、每 600 ms 做一批 TASTE tokenization;
    2. Agent Response Generator:维护 ChatML 历史、执行 turn gate 与 Spoken LM;
    3. Agent Speech Generator:text/audio pair → S³ → CosyVoice2 flow/vocoder;
    4. Orchestrator:pull-based 音频缓冲、打断清理与 token 回写。

    关键 invariant 是:只有客户端已经请求并收到的 audio chunk,其对应 agent tokens 才写入 Dialogue History。发生 barge-in 时,Orchestrator 关闭合成连接、清空未播放 audio buffer;未播放内容永不进入上下文,避免模型下一轮引用用户从未听到的话。

    系统 Spoken accuracy 相对自身文本基座保留率
    Mini-Omni 11.6% 29.7%
    Moshi 62.3% 83.1%
    Llama-Omni 67.3% 93.9%
    TASTE2 Direct 53.0% 92.4%
    TASTE2 Merge 56.3% 98.2%

    跨系统 accuracy 不宜直接排名,因为 backbone 与 prompting 不同;保留率的价值是显示“在同一文本基座上加入 speech 后掉多少”。Llama-Omni 的 LM 本身只发文本、声学交给下游,因此与每一步都承担 audio latent 的 TASTE2 也不是同等负载。

    • TASTE2 Merge 在 User Interruption 上 TOR=1.000、反应延迟 0.060 s、GPT-4o coherence 3.275。
    • Smooth Turn Taking 的 CANDOR TOR=0.908,但延迟 1.207 s;Moshi 为 0.265 s。
    • TASTE2 不报告 backchannel,因为部署 turn gate 没有 listener feedback 行为。
    • 模型级 benchmark 与 VoiceBot 端到端 TTFA 是两种测量,不能把 0.060 s 当作用户听到首段音频的总延迟。

    TASTE2 在两张 RTX A6000、batch 1 上,五个输入长度各测一次:无 TensorRT 平均 3,469 ms,TensorRT 后 2,701 ms。论文对 ChatGPT Voice、Gemini Live、Grok 的测量来自手机 App,硬件未知,且每个长度只有单个样本;这个表适合定位自身瓶颈,不足以作严格商业系统排名。

    Stage 2 能较好延续 fast、slow、whisper;SFT 后只有 fast/slow 跨两种策略稳定。Direct 的 angry 与 surprise 达到 3 分阈值,但 Merge 不行;fear、happy、sad、whisper 普遍较弱。作者据此判断 Stage 2 表示能力通常构成 SFT 控制上限,而 SFT 还可能遗忘已经能延续的属性。

    • “Full-duplex”需要收窄理解:系统能边收、边处理、被打断并快速停下,但不会在用户说话时普通接话,也不做 backchannel;这不是双向同时持续发声的完整形态。
    • 真实对话证据仍有限:训练数据高度合成,benchmark 侧重可自动评分的 turn 行为;自然开放对话、噪声、重叠说话与长期稳定性仍未被充分证明。
    • turn gate 依赖手工阈值:top-800 或 0.3、100 ms silence 和标点 lookahead 都是工程规则,跨语言与不同 tokenizer 的泛化未知。
    • 语义保持是相对指标:98.2% 很有说明力,但来自 300 道 LLaMA-Questions;不能等同于总体 reasoning 能力完整保留。
    • 副语言“能生成”不等于“能控制”:39/41 样本能产生有效音频,但多数属性得分低,当前瓶颈是条件服从而非声码器出声。
    • 延迟仍不适合自然抢话:后端 interruption stop 很快,但用户感知首音频仍约 2.7 秒,主要由 Speech Generator 决定。

    9. 公开资源状态(2026-09-17 核对)

    Section titled “9. 公开资源状态(2026-09-17 核对)”
    • Hugging Face TASTE2 collection可见英文、中文与两种 instruction checkpoint;模型卡标记为 research-only license。
    • 论文与模型卡列出的 Spoken LM、VoiceBot GitHub 地址在本次核对时返回 404,不能据论文链接宣称部署代码已经可获取。
    • 副语言对话数据集由论文列为公开资源;其许可与内容范围应在实际使用前单独复核。
    • 本地原文:私有原始资料层,arXiv v1,24 页,SHA-256 c43d64712eb93432b1077f055ab8d1d50d690fde0ac33c6d6b50f10a5a442bc7`。
    • 论文:Yi-Chang Chen et al. TASTE2: Text-Aligned Speech Modeling and Deployment toward Full-Duplex Voice Interaction. arXiv:2609.08956v1,2026-09-08。
    • 机构:MediaTek Research、National Taiwan University、NVIDIA AI Technology Center。
    • 核心资源:40,600 小时 Stage 1–2 speech;1,493 小时 dialogue SFT;Qwen2.5-7B、Distil-Whisper、CosyVoice2。