Melody-CoT（旋律链式规划）

在完整歌曲 token 生成前，先由语言模型生成一条低帧率离散旋律计划，使“作曲结构”与“整曲声学实现”分阶段完成。

是什么

Melody-CoT 是 Qwen-Music 提出的音乐生成中间表示。模型不直接从“风格+歌词”一步预测包含人声、伴奏和混音的整曲 Music Semantic Tokens，而是可先预测一段粗粒度人声旋律 token，再以该旋律为计划生成完整歌曲 token。

名称借用了 Chain-of-Thought，但这里的“思维链”不是可读自然语言推理，而是可听觉解释、可从参考音频提取、可被模型自回归生成的离散旋律轨迹。

它同时统一两类任务：

• 原创歌曲：模型从歌词与标签主动“想出”旋律计划。
• Cover：直接把参考歌曲抽取出的旋律计划放入条件，模型在保留旋律的同时换风格、编配和声线。

为什么重要

完整歌曲生成同时包含两个难度层级：

1. 作曲层：歌词分句、音高走向、段落重复、主歌/副歌关系与长程结构。
2. 实现层：歌手音色、演唱细节、和声、乐器、频谱、相位与 stereo production。

如果一个 LM 从文字直接预测 full-mixture token，就必须在每一步同时决定旋律与伴奏实现，搜索空间高度纠缠。Melody-CoT 先固定粗旋律，使后续生成围绕一个中间计划展开，类似写文章先列提纲、代码生成先列计划，但计划本身位于音乐域。

它还有三项工程价值：

• 可控：用户可用参考旋律替换模型自己规划的旋律。
• 可复用：同一旋律计划可生成多种 genre、instrumentation、vocal timbre。
• 可弱化：只保留部分段落或每类段落一个代表，可在“像原曲”和“服从新风格”之间调节。

工作原理

1. 从波形提取粗人声旋律

Qwen-Music 使用 RMVPE 从参考音频提取 50 Hz vocal pitch curve：

$$f=(f_1,\ldots,f_T).$$

随后以 8× median pooling 降采样到 6.25 Hz：

$$\tilde f=\operatorname{MedianPool}_8(f).$$