机制
Speech Tokenizer 以文本 token 作为 query,对语音 encoder 的时序表示做 attention aggregation;量化或连续 embedding 因而都与文本序列等长。Speech Decoder 同时接收对齐语音表示和文本,重建声学单元。这个重建目标迫使对齐表示保留说话人、韵律等文本没有显式表达的信息。
它解决了什么
传统 joint model 的语音 token 往往远长于文本,必须插空、交错或额外对齐。TASTE 把长度不匹配提前消解在 tokenizer 阶段,Spoken LM 可以逐位置联合预测文本与语音表示。
关键证据
论文先用重建质量与说话人相似度证明压缩后的表示仍保留声学信息,再在 speech continuation 与 likelihood-based next-speech selection 上与预训练 SLM 比较;附录进一步检查 ASR 依赖、噪声鲁棒性、cross-attention 对齐和不同 encoder 层的选择。
阅读时要保留的疑问
对齐依赖 ASR 转录和 tokenizer 的分词边界;原始系统采用词级平均来弥合 Whisper 与 LLaMA 词表,可能抹去细粒度信息。实验能证明表示适合论文设定下的 Spoken LM,但不能单独证明它已经适合低延迟、可打断的真实对话部署——这正是 TASTE2 接手的问题。