统一 token 空间
Speech Tokenizer、Spoken LM 与 Speech Detokenizer 共享同一个文本 token 词表,移除 TASTE 的词级平均。每个文本 token 配一个连续 audio latent,声学信息随 token 同步前进,但不占用额外序列位置。
VAD 触发,模型裁决
VAD 只负责发现可能的语音起止;真正是否接话由 Spoken LM 对话模板中的终止概率决定。用户在系统说话时发声,早期 VAD 事件会关闭合成连接、清空未播放音频并重建下一轮状态。
证据如何串起来
LLaMA-Questions 衡量加入声学负担后保留多少文本推理能力;Residual VQ 消融解释两阶段训练中的表示约束;Full-Duplex-Bench 测 pause、backchannel、smooth turn taking 与 interruption;TTFA 表格则把端到端体验的瓶颈落到毫秒级。
最重要的限制
TASTE2 在用户打断上强,但自然会话条件仍不稳定,也没有部署主动 backchannel。TensorRT 后平均 TTFA 仍为 2.701 秒。副语言控制仅部分属性成立,而且对 Merge / Direct 初始化策略敏感;这说明“表示能携带某种属性”与“对话微调后能可靠控制它”并不是同一件事。