资料摘要:TASTE2
TASTE2 把原版 TASTE 从“整句级文本对齐语音表示”扩展成增量语音对话栈:Speech Tokenizer、Qwen2.5-7B Spoken LM 与 Speech Detokenizer 共享同一文本词表,每个文本 token 配一个连续 audio latent;VoiceBot 再用 VAD、语义 turn gate、流式 CosyVoice2 与播放同步反馈实现 turn-taking 和 barge-in。
- 共享词表:三组件统一使用 Qwen tokenizer,删除 TASTE 的词级平均与跨词表复制,保留 subword 级声学细节。
- 不扩长序列:audio latent 与 text token 是并行通道而非额外序列位置;TASTE2 (Merge) 在 LLaMA-Questions 上保留 Qwen2.5-7B Instruct 98.2% 的准确率。
- RVQ 的新角色:Spoken LM 最终预测连续 latent,不预测 RVQ index;RVQ 作为离散瓶颈约束目标空间,使连续 latent 可预测,而不是为了提高 Stage 1 重建率。
- 三阶段训练:表示学习 → Spoken LM 预训练 → 对话 SFT;SFT 共 143,507 段对话、781,443 turns、1,493 小时,大量由 GPT-4o、Llama-3.3-70B 与 TTS 合成。
- 两条 instruction 路径:Base→TIES Merge→SFT 优于直接从 Instruct→SFT,说明 speech adaptation 与 instruction tuning 的权重整合本身是主要变量。
- VoiceBot 系统:VAD/ASR/TASTE tokenization、Agent Response Generator、Agent Speech Generator 与 Orchestrator 四服务通过 WebSocket 协作;只把已经交付播放的 token 写回对话历史。
- 全双工边界:支持快速 barge-in,但部署版普通响应只在 VAD 检测 speech end 后生成,不在用户说话时主动发言,也不产生 backchannel;更准确地说是 interruption-aware incremental dialogue。
- 瓶颈仍是合成:TensorRT 后两张 A6000 的平均 TTFA 为 2.701 秒;论文确认 Agent Speech Generator 是主要端到端延迟瓶颈。
1. 从 TASTE 到 TASTE2 的三项结构修正
Section titled “1. 从 TASTE 到 TASTE2 的三项结构修正”| 原版 TASTE | TASTE2 |
|---|---|
| Whisper tokenizer 与 LLM tokenizer 不同 | Speech Tokenizer、Spoken LM、Detokenizer 共享 Qwen tokenizer |
| 按词平均后复制到 LLM subword | 每个 LM token 直接对应一个 audio latent |
| CosyVoice 整句合成 | CosyVoice2 chunk-aware 流式合成 |
| LLaMA 3.2 1B、utterance continuation | Qwen2.5-7B、ChatML 多轮对话 |
Speech Tokenizer 冻结 Distil-Whisper encoder,替换 decoder 的输入词表并随机初始化,去掉 LM head,decoder 输出连续 embedding 进入 RVQ。Spoken LM 每一步先预测 text token,再预测与它配对的 audio latent。Speech Detokenizer 将 5 对 text/audio 输入增量转换为 15 个 25 Hz S³ units,冻结的 CosyVoice2 flow model 与 vocoder继续生成波形。
2. 为什么仍保留 RVQ
Section titled “2. 为什么仍保留 RVQ”TASTE2 不直接让 LM 生成离散 RVQ index,而是以 RVQ 合成后的最终连续 latent 作为回归目标。消融显示:
| 配置 | Stage 1 S³ accuracy | Stage 2 latent L1 ↓ | Stage 2 text accuracy ↑ |
|---|---|---|---|
| 无 RVQ | 46.83% | 14,573 | 9.16% |
| 有 RVQ | 23.56% | 1.35 | 38.67% |
无 RVQ 时 Stage 1 重建更容易,但连续空间过于自由,Stage 2 LM 几乎无法学习,甚至拖累同一次 forward 中的文本目标。这里 RVQ 的价值不是保真,而是让目标空间具有足够低的条件熵与可预测结构。
3. 数据与训练
Section titled “3. 数据与训练”Stage 1–2 继续使用 Emilia 40,000 小时与 LibriTTS 600 小时。Stage SFT 包括:
| 数据 | 对话数 | Turns | 时长 |
|---|---|---|---|
| DeepDialogue | 37,000 | 223,673 | 466 h |
| 合成通用对话 | 48,000 | 388,021 | 778 h |
| 合成副语言控制 | 58,507 | 169,749 | 249 h |
| 合计 | 143,507 | 781,443 | 1,493 h |
通用对话由 GPT-4o 生成场景、Llama-3.3-70B 写多轮内容,再由 GPT-4o 改写 interruption、加入 disfluency 并做 judge,最后由 CosyVoice2 合成。副语言对话以 GPT-4o 与 Llama-3.3-70B 交替生成,由 IndexTTS 的 emotion vector 合成。
4. Instruction-following 的两条初始化路径
Section titled “4. Instruction-following 的两条初始化路径”- Merge:Stage 2 从 Qwen2.5-7B Base 开始;之后取 ,保留绝对值最大的 30%,按 加到 Spoken LM backbone,再做对话 SFT。
- Direct:Stage 2 直接从 Qwen2.5-7B-Instruct 开始,不做 task-vector merge。
两条路径的 speech data、目标和 SFT 完全相同,因此 Merge 98.2% 对 Direct 92.4% 的 semantic retention 差异指向权重整合策略,而不只是 speech representation。
5. 对话模板与 interruption-aware loss
Section titled “5. 对话模板与 interruption-aware loss”TASTE2 使用 Qwen ChatML。System 段只有文本、audio latent 为零;User 与 Assistant 每个文本 token 都配真实 audio latent。正常 Assistant turn 对终止 <|im_end|> 计算 loss;被用户打断的 Assistant turn 仍学习打断点之前的内容,但把末尾 <|im_end|> 权重设为 0。
用户 turn 是否结束也被表示成普通 next-token 概率。部署时 VAD 的 voice→silence 只触发检查,随后满足任一条件才开始回答:
<|im_end|>出现在 top-800;- 或其概率超过 0.3。
若候选 token 是标点,系统用 KV cache 多看一步,再判断第二个 token 的 turn-end 概率。
6. VoiceBot:让模型状态只包含用户真正听到的内容
Section titled “6. VoiceBot:让模型状态只包含用户真正听到的内容”四个 WebSocket 服务为:
- User Speech Processor:100 ms VAD chunk、流式 ASR、每 600 ms 做一批 TASTE tokenization;
- Agent Response Generator:维护 ChatML 历史、执行 turn gate 与 Spoken LM;
- Agent Speech Generator:text/audio pair → S³ → CosyVoice2 flow/vocoder;
- Orchestrator:pull-based 音频缓冲、打断清理与 token 回写。
关键 invariant 是:只有客户端已经请求并收到的 audio chunk,其对应 agent tokens 才写入 Dialogue History。发生 barge-in 时,Orchestrator 关闭合成连接、清空未播放 audio buffer;未播放内容永不进入上下文,避免模型下一轮引用用户从未听到的话。
7. 实验结果
Section titled “7. 实验结果”Semantic retention
Section titled “Semantic retention”| 系统 | Spoken accuracy | 相对自身文本基座保留率 |
|---|---|---|
| Mini-Omni | 11.6% | 29.7% |
| Moshi | 62.3% | 83.1% |
| Llama-Omni | 67.3% | 93.9% |
| TASTE2 Direct | 53.0% | 92.4% |
| TASTE2 Merge | 56.3% | 98.2% |
跨系统 accuracy 不宜直接排名,因为 backbone 与 prompting 不同;保留率的价值是显示“在同一文本基座上加入 speech 后掉多少”。Llama-Omni 的 LM 本身只发文本、声学交给下游,因此与每一步都承担 audio latent 的 TASTE2 也不是同等负载。
Full-Duplex-Bench v1.0
Section titled “Full-Duplex-Bench v1.0”- TASTE2 Merge 在 User Interruption 上 TOR=1.000、反应延迟 0.060 s、GPT-4o coherence 3.275。
- Smooth Turn Taking 的 CANDOR TOR=0.908,但延迟 1.207 s;Moshi 为 0.265 s。
- TASTE2 不报告 backchannel,因为部署 turn gate 没有 listener feedback 行为。
- 模型级 benchmark 与 VoiceBot 端到端 TTFA 是两种测量,不能把 0.060 s 当作用户听到首段音频的总延迟。
端到端 TTFA
Section titled “端到端 TTFA”TASTE2 在两张 RTX A6000、batch 1 上,五个输入长度各测一次:无 TensorRT 平均 3,469 ms,TensorRT 后 2,701 ms。论文对 ChatGPT Voice、Gemini Live、Grok 的测量来自手机 App,硬件未知,且每个长度只有单个样本;这个表适合定位自身瓶颈,不足以作严格商业系统排名。
Stage 2 能较好延续 fast、slow、whisper;SFT 后只有 fast/slow 跨两种策略稳定。Direct 的 angry 与 surprise 达到 3 分阈值,但 Merge 不行;fear、happy、sad、whisper 普遍较弱。作者据此判断 Stage 2 表示能力通常构成 SFT 控制上限,而 SFT 还可能遗忘已经能延续的属性。
8. 局限与批判性判断
Section titled “8. 局限与批判性判断”- “Full-duplex”需要收窄理解:系统能边收、边处理、被打断并快速停下,但不会在用户说话时普通接话,也不做 backchannel;这不是双向同时持续发声的完整形态。
- 真实对话证据仍有限:训练数据高度合成,benchmark 侧重可自动评分的 turn 行为;自然开放对话、噪声、重叠说话与长期稳定性仍未被充分证明。
- turn gate 依赖手工阈值:top-800 或 0.3、100 ms silence 和标点 lookahead 都是工程规则,跨语言与不同 tokenizer 的泛化未知。
- 语义保持是相对指标:98.2% 很有说明力,但来自 300 道 LLaMA-Questions;不能等同于总体 reasoning 能力完整保留。
- 副语言“能生成”不等于“能控制”:39/41 样本能产生有效音频,但多数属性得分低,当前瓶颈是条件服从而非声码器出声。
- 延迟仍不适合自然抢话:后端 interruption stop 很快,但用户感知首音频仍约 2.7 秒,主要由 Speech Generator 决定。
9. 公开资源状态(2026-09-17 核对)
Section titled “9. 公开资源状态(2026-09-17 核对)”- Hugging Face TASTE2 collection可见英文、中文与两种 instruction checkpoint;模型卡标记为 research-only license。
- 论文与模型卡列出的 Spoken LM、VoiceBot GitHub 地址在本次核对时返回 404,不能据论文链接宣称部署代码已经可获取。
- 副语言对话数据集由论文列为公开资源;其许可与内容范围应在实际使用前单独复核。
- 本地原文:
私有原始资料层,arXiv v1,24 页,SHA-256c43d64712eb93432b1077f055ab8d1d50d690fde0ac33c6d6b50f10a5a442bc7`。
- 论文:Yi-Chang Chen et al. TASTE2: Text-Aligned Speech Modeling and Deployment toward Full-Duplex Voice Interaction. arXiv:2609.08956v1,2026-09-08。
- 机构:MediaTek Research、National Taiwan University、NVIDIA AI Technology Center。
- 核心资源:40,600 小时 Stage 1–2 speech;1,493 小时 dialogue SFT;Qwen2.5-7B、Distil-Whisper、CosyVoice2。
- 资料摘要:TASTE — 表示方法与原始 TASLM
- 文本对齐语音表示(TASTE)
- TASTE 系列:从文本对齐表示到可打断语音系统
- 流式语音合成
- LALM(大型音频语言模型)
- S³ Tokenizer(监督语义语音分词器)
- 神经音频编解码(RVQ)
- 资料摘要:Moshi — 真正双流并行与 backchannel 的对照路线
- Wiki 目录