Qwen-Audio-VAE
Technical Report

多模态基础模型 [14, 3, 18] 推动了文本到音频—视频生成 [26, 1, 22, 19] 的快速发展。这些系统 [5, 16] 不直接建模波形，而是在自编码器的紧凑潜空间中生成 [12, 6, 2, 20, 23]。因此，自编码器是基础组件：它决定生成器必须学习的表示，也限定了解码后音频质量所能达到的上限。

面向通用音频生成，一个好的自编码器必须同时满足三项要求。第一，跨多类音频的高保真重建，因为重建误差为生成器最终能达到的质量设定了上限。第二，紧凑的潜表示，因为更短的潜序列会直接降低下游 diffusion Transformer [16] 的训练成本。第三，高吞吐编码：在大规模文本到音频训练中，潜变量往往在线计算，缓慢的编码器会成为训练瓶颈，限制每一步能够处理的音频量。

然而，现有表示通常只优先满足其中一部分，而没有同时平衡三者。离散音频 codec [27, 4, 11, 7, 28] 很擅长压缩语音，但其量化误差往往削弱对含噪一般声音和高保真音乐的重建。连续音频 VAE [9] 避开了量化损失，又能自然配合 diffusion 与 flow 生成器，因此适合高保真通用音频。它们的问题转而是效率与覆盖面：多数模型以相对较高的帧率运行 [2, 20, 6]，会拉长潜序列并增加下游 DiT 成本；还有许多模型 [17] 只为干净语音等单一域设计，无法覆盖通用音频生成所需的异质野外音频。

为弥合这一缺口，我们提出 Qwen-Audio-VAE：一种同时面向上述三项要求的 $12.5\,\mathrm{Hz}$ 连续音频自编码器。主要贡献如下：

Qwen-Audio-VAE 是面向 $24\,\mathrm{kHz}$ mono 音频的连续 VAE；它被设计为可扩展通用音频生成的表示骨干，而不是独立 codec。如图 2 所示，因果编码器 $E$ 把波形 $x\in\mathbb{R}^{T}$ 映射为潜序列 $z\in\mathbb{R}^{D\times L}$ 的对角高斯 posterior 参数，解码器 $G$ 再把信号重建为 $\hat{x}=G(z)$；二者使用 2.3 节的频谱重建与对抗目标端到端训练。架构围绕 1 节提出的三项目标展开：高保真重建、紧凑潜表示和高吞吐编码；本节后续内容依次说明如何实现它们。

紧凑潜表示是这套设计的核心机制，因此先对其量化。编码器把波形下采样 $480\times$ 到 $50\,\mathrm{Hz}$，瓶颈再压缩 $4\times$，总计缩短 $1920\times$，得到 $12.5\,\mathrm{Hz}$ 潜序列。于是，$30\,\mathrm{s}$ 音频只对应约 $375$ 个潜帧；而既有 VAE 常见的 $20$–$75\,\mathrm{Hz}$ 会产生约 $600$–$2250$ 帧。由于 diffusion Transformer（DiT）[16] 的 self-attention 成本会随潜序列长度 $L$ 近似按 $\mathcal{O}(L^2)$ 增长，低帧率是降低下游训练成本的首要杠杆。另外两个目标围绕这条紧凑潜序列实现：2.3 节的训练目标在激进压缩下保留精细声学细节，非对称编解码器与 2.4 节面向延迟的编码器剪枝则让潜变量本身也能低成本地产生。

Qwen-Audio-VAE 采用 VAE-GAN 设计：生成器由带连续潜瓶颈的因果编码器—解码器组成，负责把波形映射到紧凑潜表示并重建；一组判别器在训练时提供对抗监督。完整配置见附录 7.1 的表 11。生成器按信号流顺序包含以下四个模块。

连续潜瓶颈。 模型不用向量量化，而采用连续对角高斯潜变量 [9]。进一步 $4\times$ 的时间下采样把 $h$ 降到 $12.5\,\mathrm{Hz}$，线性投影为每帧产生 posterior 均值和 log-variance：$\mu,\log\sigma^2\in\mathbb{R}^{D\times L}$，其中 $D=128$；随后通过重参数化技巧采样：

该写法使采样仍可微。连续形式避开量化误差，也与 diffusion / flow 生成器所建模的连续轨迹自然匹配。

判别器。 训练时，重建信号 $\hat{x}$ 与参考信号 $x$ 交给由 $K$ 个判别器 $\{D_k\}_{k=1}^{K}$ 组成的判别器组评判，每个判别器专门关注信号的不同声学侧面。单一表示无法暴露所有伪影，因此模型组合互补的时域与频域 critic，共同推动语音、音乐和一般声音的重建趋于真实。

精确的周期、FFT size 与 CQT 分辨率见附录 7.3。判别器只参与 2.3 节的对抗目标，推理时没有额外成本。

高保真重建既要监督全局频谱包络，也要补回单独使用 $\ell_1$ 频谱损失时容易被过度平滑的精细细节。因此，模型把提供稳定且感知相关梯度的多尺度频谱重建损失，与 2.2 节能锐化细节、恢复高频真实感的对抗判别器结合。令 $x$ 为参考音频、$\hat{x}=G(z)$ 为重建信号，生成器最小化频谱、对抗、特征匹配与 KL 项的加权和：

两个频谱项 $\mathcal{L}_{\mathrm{mel}}$ 与 $\mathcal{L}_{\mathrm{stft}}$，分别是 $x$ 与 $\hat{x}$ 的 log-mel 表示和 magnitude-STFT 表示之间的多尺度 $\ell_1$ 距离；它们共享从 32 到 2048 samples 的七种 analysis window，使粗粒度频谱包络与精细谐波细节得到联合监督。STFT 项采用感知加权的 auraloss.MultiResolutionSTFTLoss [21]。

对抗项与 feature-matching 项在 2.2 节的判别器组上计算。对抗训练遵循 least-squares GAN：生成器把每个 $D_k(\hat{x})$ 推向 $1$；每个判别器 $D_k$ 则学习区分 $x$ 与 $\hat{x}$，最后在 $K$ 个判别器上取平均。feature-matching 项 $\mathcal{L}_{\mathrm{fm}}$ 计算各个 $D_k$ 从 $x$ 和 $\hat{x}$ 提取的中间特征图之间的 $\ell_1$ 距离并取平均；它相当于判别器空间中的感知损失，是稳定对抗训练的主要手段。最后，$\mathcal{L}_{\mathrm{kl}}$ 是标准闭式 KL divergence，把对角高斯 posterior 约束向 prior $\mathcal{N}(\mathbf{0},\mathbf{I})$。最终配置把频谱目标的重点放在 STFT 项上（$\lambda_{\mathrm{stft}}=20$，同时保留多尺度 mel 项）；对抗与 feature-matching 项权重均为 1（$\lambda_{\mathrm{adv}}=\lambda_{\mathrm{fm}}=1$）；KL 权重则刻意保持很小（$\lambda_{\mathrm{kl}}=10^{-6}$），使重建质量仍占主导，而潜空间只受到轻量规整。

在文本到音频集成中，吞吐瓶颈来自编码器而不是解码器：最初编码 64 条、每条 $30\,\mathrm{s}$ 的音频约需 $1957\,\mathrm{ms}$。因此，作者把编码器视为系统关键模块，在固定重建质量和 $12.5\,\mathrm{Hz}$ 潜帧率的前提下优化延迟。

指导原则是：高时间分辨率上的计算代价不成比例地昂贵。前层处理长序列，即使通道数适中也会主导延迟；后层在较低分辨率上运行，是更便宜的容量投放位置。架构本身已经体现这一点——模型最大的 window Transformer 在 $12.5\,\mathrm{Hz}$ 瓶颈处而不是高分辨率上运行；作者又通过三个编码器专项步骤进一步落实这一原则。

Step 1：stride 重分配。 重新平衡 stride，让大部分参数作用于较低分辨率的中间特征，延迟从 $1957\,\mathrm{ms}$ 降到 $1361\,\mathrm{ms}$，质量损失可以忽略。

Step 2：residual-unit 剪枝。 Dilated residual unit 会增加卷积成本，因此每个编码器 block 只保留一个 dilation 为 1 的 residual unit。延迟从 $1361\,\mathrm{ms}$ 降到 $747\,\mathrm{ms}$。

Step 3：首层通道缩减。 逐层 profile 表明，运行在最高分辨率的第一层占据大部分成本（表 2）。缩小所有通道会使重建崩溃：PESQ (wb/nb) 从 3.09/3.44 降到 1.91/2.37，SI-SDR 从 8.34 降到 $-2.80$（表 1）；因此只把首层宽度从 64 降到 24，保留后层容量。延迟从 $747\,\mathrm{ms}$ 降到 $541\,\mathrm{ms}$，且没有损害收敛。

三步叠加得到 $3.62\times$ 加速（$1957\!\to\!541\,\mathrm{ms}$），重建质量几乎不变。快速编码由此成为关键实践优势：既缩短离线潜变量提取，也允许在相同步时下使用更大的文本到音频 batch。第 4 节进一步量化端到端加速及其下游影响。

规模化训练跨域通用音频 VAE 有三项数据挑战：语料必须足够多样，以避免过拟合任何单一声学条件；清洗必须可靠，不能让损坏或错标音频破坏重建；数据供给还必须足够高效，才能让大型 GPU 集群持续饱和。下面依次处理这三项问题。

Qwen-Audio-VAE 在 500 万小时多领域音频上训练，以支持异质声学条件下的稳健重建。语料覆盖表 3 所列三大类别：

这种混合对通用音频生成很重要，因为每一类数据都检验重建的不同侧面。语音强调可懂度、说话人特征、韵律和周期结构；音乐强调谐波结构、音色、节奏和宽频细节；一般声音与网络视频音频则引入瞬态事件、噪声环境、重叠声源和高度多样的声学场景。三者联合训练使连续潜表示更稳健，也降低了过拟合干净语音或狭窄声学条件的风险。训练前，所有音频统一重采样为 $24\,\mathrm{kHz}$ mono。

重建训练对损坏音频、错误 metadata 与分布不平衡很敏感，因此多领域原始池在打包训练前要经过清洗。如图 3 所示，每个样本都通过一系列验证阶段；异常样本会在各阶段被显式处理，而不是悄然进入训练。

除这些有效性检查外，管线还支持多级过滤和数据分层：语音、音乐、一般声音分别进行加权采样，问题子集可以通过 identifier 回溯。这有助于诊断特定领域的伪影，例如音乐高频损失、音效瞬态涂抹或含噪语音的稳健性。由于 Qwen-Audio-VAE 是文本到音频训练的表示骨干，可靠 metadata 与稳定 sample scheduling 和原始数据规模同样重要。

在 500 万小时规模下，训练不只受模型计算限制，也受 data I/O 限制：原始集合包含许多带异质 metadata 的小文件，随机访问成本高且不稳定。因此，清洗后的样本会打包进带 WebDataset-style index 的二进制 tar shard，每个样本连同 offset、duration、sample rate 和 identifier 等 metadata 一起保存。tar reader 随后可直接 seek 到样本 offset 并读入内存，避免随机小文件 I/O；与此同时，*history-records* 模块跟踪已消费样本，使长期任务能从中断处恢复，并保持稳定、去重的调度。

实践中，这套策略把训练吞吐提高了约 18%。它虽然不改变模型，却实质性加快了实验迭代，也让 500 万小时规模训练更可行。

下面检验 Qwen-Audio-VAE 是否实现三项目标——高保真重建、紧凑潜表示与快速编码——并考察这些性质能否延伸到下游文本到音频训练。

Qwen-Audio-VAE 从三条轴线评测：公开基准上的重建保真度、编码效率，以及对下游文本到音频训练的影响。重建分别使用语音基准 LibriSpeech [15]、一般声音基准 AudioCaps [8] 和音乐基准 SongDescriber [13]，三者共同覆盖模型目标范围内的声学多样性。对比对象包括代表性的离散神经 codec：AudioDec [24]、DAC [11]、EnCodec [4] 与 WavTokenizer [7]；以及连续音频 VAE：MM-Audio [2]、Stable Audio Open [6] 与 Hunyuan-Foley [20]。

论文报告 Mel distance、multi-resolution STFT distance（MR-STFT）、PESQ 与 STOI。单一指标无法完整反映感知质量——例如，客观分数可能忽略高频发闷——因此四项指标需要联合解释：Mel distance 与 MR-STFT 强调频谱保真度，PESQ 与 STOI 强调感知质量和可懂度，潜帧率则反映下游建模成本。

三项基准强调互补能力：LibriSpeech 检验干净语音的可懂度，以及说话人身份与韵律的保留；AudioCaps 覆盖环境声、音效和混合场景；SongDescriber 强调音乐与歌声的谐波结构、音色和宽频细节。表 4–6 都按潜帧率对模型分组，因为有意义的比较必须考虑序列长度：Qwen-Audio-VAE 直接与其他低帧率（$<50\,\mathrm{Hz}$）系统竞争，高帧率 codec 则作为参考。

在 LibriSpeech 上，Qwen-Audio-VAE 以仅 $12.5\,\mathrm{Hz}$ 的帧率，在低帧率组全部指标上最优（Mel 0.513、MR-STFT 0.715、PESQ 3.975、STOI 0.980）。DAC 等高帧率 codec 的原始保真度更高，但代价是潜序列长 $4$–$6\times$；这正是下游生成希望避免的成本。帧率和架构变体见 4.3 节。

AudioCaps 的内容更多样且瞬态更丰富，比干净语音更难。Qwen-Audio-VAE 再次在低帧率组的 Mel distance、PESQ 与 STOI 上领先，说明表示并非只适配语音；但其 MR-STFT 高于 Stable Audio Open，提醒我们在一般音频上，细粒度频谱匹配与感知可懂度并不总是同向变化。

在 SongDescriber 上，Qwen-Audio-VAE 四项指标均超过 Stable Audio Open，说明紧凑潜表示也能捕捉音乐的谐波和音色结构；高帧率系统中，面向音乐的 Hunyuan-Foley 最强，这符合一个针对音乐调优的 $50\,\mathrm{Hz}$ 模型的预期。综合三项基准，Qwen-Audio-VAE 的目标工作点得到了验证：它在语音、一般声音和音乐上始终是最强的低帧率模型，同时使用最少潜帧；相对高帧率 codec，它以少量原始保真度差距换取 $4$–$6\times$ 更短的潜序列。图 4 在 LibriSpeech 上给出定性证据：本文的 $12.5\,\mathrm{Hz}$ 重建比更高帧率的 Stable Audio Open 更忠实地跟随 ground-truth 频谱，尤其体现在框选的高频区域。

作者以 LibriSpeech 为代表基准，在表 7 中隔离各项设计选择；各行共享主模型的编码器/解码器拓扑，只改变被消融的因素。

Encoder Transformer。 移除瓶颈 window Transformer 后，Mel distance 从 0.513 升至 0.620，其余指标也都下降，说明在激进时间压缩下，每个潜帧需要概括较长音频，attention 聚合确有价值。

潜维度。 把潜表示减半到 64 维会持续损害重建；加宽解码器也无法恢复。限制因素因此是信息如何在潜空间中组织，而不是解码器容量。

帧率。 $50\,\mathrm{Hz}$ 变体在所有指标上最优，但序列长度是四倍。由于下游文本到音频成本随序列长度增长，$12.5\,\mathrm{Hz}$ 模型在效率—质量之间更合适，因此作为默认配置。

下面从重建质量转向效率轴。表 8 报告编码 64 条、每条 $30\,\mathrm{s}$ 音频的 wall-clock 延迟，这是文本到音频离线潜变量提取的代表负载。2.4 节的三项优化把延迟从 $1957\,\mathrm{ms}$ 降到 $541\,\mathrm{ms}$（$3.62\times$）；主要收益来自把计算移出高分辨率前层，同时保留低分辨率后层容量。

低帧率与快速编码互补：前者缩短下游 DiT 序列，后者降低产生潜变量本身的成本。值得注意的是，Stable Audio Open 虽以更高的 $20\,\mathrm{Hz}$ 帧率运行，却仍慢于优化后的编码器；这说明两项性质是独立优势，而不是同一个“速度—帧率”折中。

首先量化编码器加速对文本到音频训练的影响。作者固定同一个 150M 参数 diffusion Transformer，分别使用加速前、后编码器产生的潜变量训练；硬件为 $32\times$L20（$80\,\mathrm{GB}$）GPU，数据为过滤后的 LAION-Audio-630K [25]（$4{,}325.39\,\mathrm{h}$）。在固定约 $\sim1\,\mathrm{step/s}$ 的吞吐下，消除编码瓶颈后，模型可使用 $4\times$ 更大的 batch（64 对 16），每步处理 $4\times$ 更多音频；相同 wall-clock 预算下，AudioCaps CLAP 从 0.29 升到 0.33（表 9）。作为参照，Stable Audio Open 也通过同一管线训练；其更高帧率、更慢的编码器需要更长训练时间，质量却更低：CLAP 0.27 需要 $60\,\mathrm{h}$，而本文的 0.33 需要 $36\,\mathrm{h}$。

除吞吐外，潜空间结构本身也影响下游生成。作者从默认潜表示（KL 权重 $\lambda_{\mathrm{kl}}=10^{-6}$）出发，训练更强正则的变体（$\lambda_{\mathrm{kl}}=10^{-3}$），选择一个在 reconstruction loss 与 KL loss 之间取得平衡的 checkpoint；随后在 AudioCaps test set 上，用 FD (VGG)、Inception Score（IS）与 CLAP 评测二者（表 10）。更强正则的潜表示使三项生成指标全部退化。作者将其归因于潜表示的信息密度：更强地把 posterior 拉向 prior 会丢掉 Transformer 依赖的结构；另一个独立观察是，更高维的潜表示也更难由 diffusion Transformer 拟合。将潜表示与预训练音频表示（例如 CLAP 或 Omni audio encoder）对齐，是改善生成可学习性的潜在方向。

本文提出 Qwen-Audio-VAE：一组面向可扩展通用音频生成的连续音频自编码器。设计围绕生成骨干必须同时满足的三项目标展开：跨多类音频的高保真重建、保持下游序列简短的紧凑潜表示，以及大规模训练所需的高吞吐编码。模型把因果编码器—解码器与 $12.5\,\mathrm{Hz}$ 连续瓶颈结合，把 window Transformer 集中在这一低帧率处，并加入一组互补判别器提供对抗监督。在 500 万小时多领域音频上训练后，它能在异质声学条件下忠实重建语音、音乐和一般声音。

在公开基准（LibriSpeech、AudioCaps、SongDescriber）上，Qwen-Audio-VAE 在使用最少潜帧的同时，始终是最强的低帧率模型。非对称编解码器和面向延迟的编码器剪枝，把 $64\times30\,\mathrm{s}$ 编码延迟从 $1957\,\mathrm{ms}$ 降到 $541\,\mathrm{ms}$（$3.62\times$），且不损害重建；这种加速转化成了系统层收益：在文本到音频训练中，更快的潜变量提取可在相同训练时间下支持 $4\times$ 更大的 batch 和更高吞吐。更广泛地说，结果表明通用音频生成的自编码器不应只优化重建，而应联合考虑压缩、编码吞吐、数据可扩展性和潜空间可学习性。未来将探索与预训练音频表示对齐、改善高频与瞬态重建、加强数据分层，并在更大规模文本到音频训练中验证。

为保证完整性与可复现性，表 11 按信号流顺序列出 Qwen-Audio-VAE 主模型的完整配置；关键数值也已在 2.2 节正文中给出。

模型在完整多领域语料上从头训练。表 12 给出完整设置，包括 optimizer、生成器与判别器各自的 learning rate、learning-rate schedule 和硬件。

2.2 节介绍了对抗训练使用的四个判别器；表 13 给出精确周期、FFT size 和 constant-$Q$ 分辨率。

表 14 把 4.3 节的消融行映射到对应配置字段。所有变体共享主模型的 $24\,\mathrm{kHz}$ 编解码拓扑（strides $(8,5,4,3)$），只在潜维度（由 bottleneck projection 决定）、编码器侧 window Transformer、解码器宽度，以及决定最终帧率的瓶颈下采样因子上不同。