READING NOTES · TASTE

把语音表示压到
文本 token 的节奏上

TASTE 的关键不是再造一种更强的通用 codec,而是为 joint text–speech modeling 设计一种一一对齐、主要承载副语言信息的语音表示。

01 / MECHANISM

机制

Speech Tokenizer 以文本 token 作为 query,对语音 encoder 的时序表示做 attention aggregation;量化或连续 embedding 因而都与文本序列等长。Speech Decoder 同时接收对齐语音表示和文本,重建声学单元。这个重建目标迫使对齐表示保留说话人、韵律等文本没有显式表达的信息。

02 / WHY IT MATTERS

它解决了什么

传统 joint model 的语音 token 往往远长于文本,必须插空、交错或额外对齐。TASTE 把长度不匹配提前消解在 tokenizer 阶段,Spoken LM 可以逐位置联合预测文本与语音表示。

03 / EVIDENCE

关键证据

论文先用重建质量与说话人相似度证明压缩后的表示仍保留声学信息,再在 speech continuation 与 likelihood-based next-speech selection 上与预训练 SLM 比较;附录进一步检查 ASR 依赖、噪声鲁棒性、cross-attention 对齐和不同 encoder 层的选择。

04 / CAVEATS

阅读时要保留的疑问

对齐依赖 ASR 转录和 tokenizer 的分词边界;原始系统采用词级平均来弥合 Whisper 与 LLaMA 词表,可能抹去细粒度信息。实验能证明表示适合论文设定下的 Spoken LM,但不能单独证明它已经适合低延迟、可打断的真实对话部署——这正是 TASTE2 接手的问题。

LLM WIKI · CONTEXT READER

AI 论文解读

DeepSeek V4 Flash

Enter 发送 · Shift + Enter 换行 · Esc 关闭