CFG（无分类器引导）

概念更新 2026-08-15置信度 high#概念#生成模型#音频生成#深度

一种无需额外分类器的条件生成引导技术：同一模型联合学习条件与无条件两种预测，推理时把二者之差外推放大，用一个引导强度 $w$ 在「文本贴合度」与「多样性」之间换挡。

是什么

无分类器引导（Classifier-Free Guidance, CFG，Ho & Salimans, 2022）是扩散/流匹配等生成模型中最常用的条件强化手段。它取代了早期需要单独训练噪声分类器的 classifier guidance：只用一个网络，训练时以概率 $p$ （本库中常见 $p=0.2$ ）随机丢弃条件 $c$ ，从而同时学到：

条件预测 $\varepsilon_\theta(x_t, c)$
无条件预测 $\varepsilon_\theta(x_t, \varnothing)$

推理时把两者的差值外推：

$\tilde{\varepsilon}_\theta(x_t, c) = \varepsilon_\theta(x_t, \varnothing) + w \cdot \big[\varepsilon_\theta(x_t, c) - \varepsilon_\theta(x_t, \varnothing)\big]$

其中 $w$ 为引导强度（guidance scale）。 $w=1$ 退化为普通条件采样， $w>1$ 越大越贴合条件、但多样性下降、易过饱和。对流匹配模型， $\varepsilon$ 换成速度场 $v_\theta$ ，形式不变。

为什么重要

通用且免额外训练：任何条件生成模型只要在训练时加一句「以 $p$ 概率丢条件」即可获得，几乎零成本，已成为音频/图像扩散的默认组件。
可调的质量-多样性旋钮： $w$ 提供推理时的单一超参，无需重训即可调节文本对齐强度——本库各模型选值差异很大（见下表），反映了任务与潜空间的不同。
是少步加速的关键代价来源：带 CFG 的每一步需要 conditional + unconditional 两次前向，即 $\text{NFE} = 2 \times \text{steps}$ 。这使 CFG 成为推理提速的首要优化对象（见下文「CFG-free 趋势」）。

工作原理

训练

条件 dropout：以概率 $p$ 用空条件 $\varnothing$ （可学习的 null embedding 或全零）替换真实条件。本库中资料摘要：CosyVoice 2、资料摘要：Dasheng AudioGen 均用 $p=0.2$ ；资料摘要：Stable Audio 3 训练期以 10% 概率置零条件。
多字段条件可分别 dropout：Dasheng AudioGen 对除 <|caption|> 外的各结构化字段独立以 0.2 概率丢弃，从而支持不同详细度的输入。

推理

每步做两次前向（条件 / 无条件），按上式外推后再送采样器。
本库中的引导强度取值：

模型	引导强度 $w$ / $\beta$	采样步数	备注
资料摘要：CosyVoice 2（CFM 解码器）	0.7	NFE=10	token→梅尔的流匹配
资料摘要：Dasheng AudioGen	5.0	25 步	潜空间流匹配 DiT
资料摘要：AudioX	3.0	—	统一多模态 MMDiT
资料摘要：MusicGen	训练时启用	—	声学 token AR
Locodec–MP-ELD 语音生成系统	$\lambda_{\mathrm{sc}}$ / $\lambda_{\mathrm{ac}}$ 分路	多路径 decoder	声学一致性与语义对齐分别外推
资料摘要：SwanVoice	$\omega_{\text{text}}$ / $\omega_{\text{ref}}$ 分层	每步 3 个条件分支	内容/轮次与参考音色/风格分开外推

Residual multi-path CFG：稳定基方向再加条件增量

标准 CFG 从一个 unconditional prediction 一步外推到完整条件。MP-ELD 指出：在长时 AR 音频中，如果这个基方向只依赖短时 previous block，它会在高噪区间呈现高方差，外推产生的开环误差还会进入下一 token。

MP-ELD 将条件拆成局部连续性 LC、全局声学自一致性 SC 和语义对齐 AC，并逐级组合速度场：

$v_{\tau}=v_{\tau}^{L} +\lambda_{\mathrm{sc}}\bigl(v_{\tau}^{LS}-v_{\tau}^{L}\bigr) +\lambda_{\mathrm{ac}}\bigl(v_{\tau}^{LSA}-v_{\tau}^{LS}\bigr)$

第一段增量主要调节长时/短时声学平衡，第二段主要调节语义跟词； $\lambda_{\mathrm{sc}}$ 在高噪阶段从 1 开始 warmup，等 SNR 上升后再增强外推。它扩展了 CFG 的“条件—无条件”二分：关键不再是有没有 null condition，而是基方向是否稳定、各条件增量是否能按可靠性逐级加入。

CFG-free 趋势（少步蒸馏内化引导）

近期音频模型倾向把 CFG 的增益内化进模型权重，推理时不再显式做两次前向，直接省掉一半算力：

资料摘要：Stable Audio 3：CFG 增益在蒸馏预热阶段内化，文本对齐再由 $L_{\text{CLAP}}$ 细化，推理用 8 步 Ping-Pong 采样、无需 CFG。
资料摘要：AudioX-Turbo：通过 DMD + diffusion discriminator 把教师蒸馏为 4-step CFG-free 学生， $\text{NFE}=\text{steps}=4$ （而带 CFG 的基线 $\text{NFE}=2\times\text{steps}$ ），相比 50-step CFG 基线最高约 25× NFE 加速。

与相邻概念的区别

手段	是否需额外网络	推理开销	说明
Classifier Guidance	需单独训噪声分类器	+分类器梯度	CFG 的前身，已基本淘汰
CFG	否（同一网络）	每步 2× 前向	当前默认
CFG-free（蒸馏内化）	否	每步 1× 前向	少步模型的目标形态
ComposableART	否（CFG 扩展）	视组合数	资料摘要：Fugatto 推理时组合多条指令的引导

CFG 是采样期的引导技巧，与条件流匹配（CFM）、DiT（Diffusion Transformer）这类生成骨干/训练范式正交——任何骨干都可叠加 CFG。

常见误解

「CFG 强度越大越好」：过大的 $w$ 会导致过饱和、伪影、多样性坍塌；最优值高度依赖潜空间与任务（本库取值从 0.7 到 5.0 不等）。
「CFG 是一种损失/训练目标」：CFG 本质是推理期外推，训练侧只多了条件 dropout；真正作为损失注入文本对齐的是资料摘要：Stable Audio 3 的 $L_{\text{CLAP}}$ ，不要与 CFG 混淆。
「CFG-free 意味着不用引导」：CFG-free 是把引导内化进权重（蒸馏/DMD），并非放弃引导，只是不在推理时显式做两次前向。

历史与演进

2021: Dhariwal & Nichol 提出 classifier guidance（需额外分类器）
2022: Ho & Salimans 提出 Classifier-Free Guidance，成为扩散模型标配
2023–: 迁移到文本到音频/音乐（AudioLDM、MusicGen、Tango 等）
2024: 流匹配 TTS 沿用（CosyVoice 2， $\beta=0.7$ ）
2026: CFG-free 少步化成为主线——资料摘要：Stable Audio 3 8 步 Ping-Pong 内化 CFG、资料摘要：AudioX-Turbo 4-step CFG-free 蒸馏，把「省掉那次无条件前向」变成核心加速点
2026.07: MP-ELD 提出 residual multi-path CFG，把短时声学、长时声学与语义对齐拆成逐级 velocity delta，并用高噪区 warmup 降低 AR 开环误差
2026.05: 资料摘要：SwanVoice 使用 staircase CFG：空条件 → text-only → full reference，两级 velocity delta 分别控制内容/轮次与参考音色/风格