ASR-TTS 论文周报第 015 期：连续语音生成、实时交互与长上下文
ASR/TTS 论文周报第 015 期 的 10 篇主榜论文与趋势段落中的 Never Stop Speaking 指向同一变化：语音系统不再只优化单句离线指标，而是在表示层、交互时序和长上下文资源三处同时追求“可预测、可控、可部署”。连续 latent 并未消灭语义 token；它把离散结构从最终声学载体重新安排为训练锚点、低速规划信号或评测 probe。
- “告别硬量化”不是抛弃离散监督：CuteTTS 用 WavLM 对齐连续 VAE，SemBridge 在训练时预测离散语义 token，Phoenix TTS 用 flow reconstruction 反向校正 tokenizer，ReLMCodec 则把量化前音素结构作为 token 可预测性的先验。共同目标是让高保真声学空间仍可被 AR 模型稳定预测。
- 控制能力正在从 prompt 语义下沉到对齐变量：CtrlSpeech 显式暴露 phone-level pitch、loudness、duration；Confucius4-TTS 把 reference transcript 从必需输入变成可选的高相似度模式。前者增强局部编辑，后者降低跨语克隆门槛。
- 实时对话需要把多个时钟放到同一帧上：X2-Turn 每 80 ms 同时预测文字与话轮状态；它证明 latency 不是单个数字，而是 acoustic frame rate、ASR token delay 与 turn decision delay 的联合折中。
- ASR 适配的核心已从“平均更准”转向“能力不覆盖”：方言 OPSD 用 on-policy prefix 和 privileged teacher 同时改善方言与普通话 CER，说明 autoregressive exposure bias 与持续学习遗忘需要一起处理。
- 长音频瓶颈同时是质量、内存和安全问题：VoxZip 用语义锚点与时间衰减压缩输入/KV，SmartGlasses 显示多人重叠让 tcpCER 急剧上升，Never Stop Speaking 则说明异常长输出会把自回归时长直接放大为服务资源风险。
| 路线 | 代表论文 | 最有区分度的证据 | 不能过度解读之处 |
|---|---|---|---|
| 连续 latent AR | CuteTTS | 6.25 patch/s；蒸馏后 4 NFE、RTF 降 40.8% | 55 万小时内部数据，未开源 |
| 训练期语义锚定 | SemBridge | 10 万小时 Seed-EN WER 4.63→2.70 | 单 seed；辅助损失与数据规模耦合 |
| 局部韵律控制 | CtrlSpeech | 0.6B pitch RMSE 67.86→38.39 Hz，duration MAE 28.08→11.86 | 只覆盖英语和三类显式声学变量 |
| 跨语无转写克隆 | Confucius4-TTS | CV3 六方向平均 WER/CER 3.73 | 内部数据/评测较多，基线输入条件不完全同构 |
| 下游驱动 tokenizer | Phoenix TTS | joint training 消融使 WER 1.94→2.70 | 无代码；“SIM 高于 GT”可能是验证器效应 |
| 可预测 codec | ReLMCodec | 同一 EmoVoice 下 WER 4.30，对比 XCodec2 的 9.49 | 仅 LibriSpeech 英语与 50 Hz 设置 |
| 流式话轮 | X2-Turn | 480 ms 条件下中文 complete/incomplete/backchannel 91/93/96% | LLM 辅助标签；多任务会影响 ASR |
| 方言持续适配 | OPSD | 普通话/公开方言/内部方言 CER 3.27/12.79/12.42 | 3.41 万小时内部数据与内部测试 |
| 长音频压缩 | VoxZip | 4× 时 1.93× throughput、3.34× peak-memory reduction | 依赖额外 ASR，非语音声学证据可能丢失 |
| 第一视角多说话人 | SmartGlasses | 最佳 tcpCER 从双人 5.23% 恶化到会议 27.95% | 团队资源不统一，榜单不能作因果消融 |
| speech LLM 安全 | Never Stop Speaking | 白盒攻击 ASR 87%/84%，输出约增至 942/920 token | 小样本白盒设置，不代表远程黑盒可利用性 |
- 连续表示的统一评测仍缺失：不同工作分别用 WER、speaker SIM、reconstruction、AR probe 或主观质量，没有统一分解“语义忠实—音色—微观声学—LM 可预测性”的 benchmark。
- 显式控制是否可迁移到自然语言编辑：CtrlSpeech 的 phone-aligned 控制精确但门槛高；需要研究文本指令如何可靠映射到对齐的 /loudness/duration 轨迹，同时保留可人工修正的中间表示。
- 实时系统的联合退化如何避免：X2-Turn 已观察到 turn objective 对 ASR 的影响。未来需要把 ASR、endpoint、turn state、backchannel 和 TTS response timing 放入统一 latency-quality Pareto 评测。
- 音频压缩不能只保文字：SmartGlasses 的声学类 QA 与 VoxZip 的 ASR anchor 形成直接张力；若问题答案在音色、位置、环境声或重叠结构中，文本对齐压缩可能删掉关键证据。
- “PACE 全双工上下文引擎”未落库：原微信文章没有给出论文全名、作者、链接或 arXiv ID，当前无法唯一对应到权威论文。为避免误摄取，保留为待核验线索，而不是猜测性建页。
- 对连续 token TTS 研究，建议把实验拆成四层：pre-quantization structure、quantization distortion、AR predictability、downstream generation；CuteTTS/SemBridge/Phoenix/ReLMCodec 分别提供可组合的检查点。
- 对可控韵律方向，CtrlSpeech 适合作为“显式 phone-level condition”基线；最值得验证的是它能否作为现有 CosyVoice/VQ-VAE prosody token 管线的旁路监督，而不是直接替换整个生成器。
- 对实时交互，应该同时记录 token cadence、turn-state accuracy、decision latency、误打断率和 backchannel 行为；单报 RTF 或首包延迟不足以说明可对话性。
- 对长音频部署，需把输入压缩、KV cache、异常输出上限和多说话人重叠放在同一资源预算中评测，避免只在干净单人语音上报告吞吐。