TASTE 系列:从文本对齐表示到可打断语音系统
TASTE 系列真正连贯的贡献不是“又一个 speech tokenizer”,而是把文本 token 变成语音系统的统一逻辑时钟:TASTE 证明每个文本位置可以携带紧凑副语言残差,TASTE2 再利用同一坐标处理生成、轮次边界、播放确认与打断截断;这条路线显著保护文本能力,但尚未证明完整自然全双工或稳定副语言控制。
- TASTE 解决的是表示接口,TASTE2 解决的是系统闭环。 前者把帧级语音压到文本长度,后者统一词表、加入增量解码并让对话状态服从真实播放边界。
- 序列长度不是单纯效率指标,而是能力保持机制。 audio latent 与 text token 并行,减少 speech positions 对文本预训练规律的稀释;98.2% semantic retention 是这项设计最有说服力的证据。
- RVQ 在 TASTE2 中是“可学习性正则”,不是 codec 终点。 连续目标若没有量化约束,Stage 1 更易重建却无法被 Stage 2 LM 预测。
- 可打断一致性来自交付语义,而不只来自快速 VAD。 未播放的 agent tokens 不进入历史,避免模型把用户没听到的内容当作共同上下文。
- 论文的 full-duplex 主张需要降级理解。 部署版支持 incremental input、barge-in 与 turn gate,但无 backchannel,普通输出仍等待用户 speech end;当前更接近“可打断的半双工对话系统”。
TASTE 的约 3 Hz 表示在 LibriSpeech 上达到 WER 4.4%、UTMOS 4.29、MUSHRA 68.3,说明文本侧信息允许 speech branch 以极低速率保留较多副语言信息。局部交换实验进一步显示,token 与词位置的 duration effect 具有局部性。
但这不是通用音频压缩结论:文本、speaker embedding、S³ decoder 与 flow vocoder 都是侧信息。TASTE 更应被评价为“适合 Spoken LM 的条件表示”,而非“150 bps 高保真 codec”。
原始 TASLM 用约 45M LoRA 参数适配 1B 基座,在 continuation 与 StoryCloze 上明显优于直接联合建模 S³ 的 baseline。TASTE2 Merge 在 Qwen2.5-7B Instruct 上从 57.3% 降到 56.3%,相对保留 98.2%。
这一结果支持“额外 acoustic positions 会损伤语言能力”的假说,但只覆盖 300 道 LLaMA-Questions,且跨系统比较的 backbone 与 prompting 不一致;它是有力机制证据,不是通用 reasoning 排名。
TASTE2 VoiceBot 把 VAD/ASR/tokenization、Spoken LM、speech generation 与 Orchestrator 拆为四服务。最重要的设计不是 WebSocket 本身,而是 pull-based delivery:token 只有在相应音频交付后才被确认进 history。
Full-Duplex-Bench 上 interruption latency 0.060 s 反映后端停止/响应行为,而实际 TTFA 仍为 2.701 s。两者计时边界不同,必须并列理解:系统“停得快”,但“重新开口仍慢”。
SFT 后 fast/slow 在 Merge 与 Direct 两种策略都较稳定;whisper、fear、happy、sad 等大多失败,angry/surprise 对初始化策略敏感。结果说明对齐表示能承载某些 style,却没有自动解决 instruction-to-style grounding;Stage 2 表示不足时,后续 dialogue SFT 很难凭空补出控制能力。
- 能否用因果、增量对齐取代完整 ASR transcript,同时维持严格 token pairing?
- 文本 token 粒度在中文、黏着语与代码切换场景中是否仍是合理的声学时间轴?
- 能否在不牺牲 98% semantic retention 的前提下加入 non-lexical events、overlap 与 backchannel?
- turn gate 的 top-800 / 0.3 阈值能否由独立校准或 streaming policy 学习取代?
- 如何把 TTFA 从 2.7 秒降到自然会话区间;瓶颈应优先放在 Detokenizer、flow model 还是服务调度?
- 研究限定模型与暂不可访问代码能否支持第三方复现 Full-Duplex-Bench 和 VoiceBot 端到端结果?
- 设计 Spoken LM tokenizer 时,不应只比较重建分数;“下游 LM 能否预测”与“是否破坏文本序列规律”同样是一等指标。
- 对交互系统,生成 token、合成 audio、传输 audio 与实际播放是四个不同状态;上下文确认必须绑定最后一项。
- “full-duplex”应拆成 pause handling、backchannel、smooth turn、barge-in、overlap 与 echo management,不能由单个 interruption 指标代替。
- TASTE 的通用价值可能不局限于 speech:任何已有强符号序列模型的连续模态,都可探索“一个符号位置 + 一个连续残差”的配对表示。