扩散过程的高维几何

DDPM 训练时， 先从数据分布采样干净样本 $x_0$， 再采样标准高斯噪声：

随后随机选择一个时间步 $t$， 构造带噪样本 $x_t$， 让网络根据 $x_t$ 和 $t$ 预测所加噪声。

从 00:15 查看训练中的干净样本

常见的简化噪声预测目标为：

从 00:36 查看网络预测噪声

这里有一个容易混淆的点：

训练并不需要先生成 $x_1$、 再从 $x_1$ 生成 $x_2$， 一路模拟到 $x_t$。

只要抽取一份 $epsilon$， 就能直接从闭式边缘分布采样 $x_t$。

从 00:59 查看一次采样一份噪声

本课要研究的， 正是这个闭式采样公式背后的几何图像。

令每一步的信号保留率为：

累计信号保留率为：

DDPM 的前向边缘分布可以写成：

因此可重参数化为：

从 01:08 查看闭式前向加噪公式

这条公式同时说明：

若 $x_0$ 与 $epsilon$ 线性无关， 这个子空间最多是二维平面：

定义系数：

它们满足精确恒等式：

从 01:21 查看两项系数的平方和

因为两个系数都非负， 可引入一个系数角 $\theta_t$：

于是：

当 $\bar\alpha_t$ 从接近 $1$ 降到接近 $0$ 时， 系数点从 $(1,0)$ 移向 $(0,1)$。

这就是“九十度旋转插值”最严格的含义：

它尚未证明高维向量 $x_t$ 本身做了保持长度的刚体旋转。

为了把张成平面画成直角坐标系， 视频使用了高维近似正交直觉。

对固定的非零 $x_0\in\mathbb R^d$， 若：

则内积：

归一化余弦为：

由于 $\|\epsilon\|_2$ 通常是 $\sqrt d$ 量级， 该余弦的典型幅度是 $O(d^{-1/2})$。

所以维数很大时， 随机噪声方向通常接近与固定样本垂直。

从 01:51 查看高维近似正交直觉

但需要保留三个边界：

固定一对 $x_0$ 与 $epsilon$， 考虑线性映射：

单位圆上的系数点 $(a,b)$， 经 $L$ 映射到数据空间中的 $x_t$。

从 02:18 查看干净样本与噪声张成的平面

线性映射通常把圆变为椭圆。

若进一步采用正交近似， 并取单位方向：

则 $x_t$ 在 $(u,v)$ 坐标中的分量约为：

从 02:57 查看两个坐标分量

消去 $\bar\alpha_t$ 得：

从 03:13 查看椭圆轨迹

椭圆两条半轴分别由：

决定。

只有当二者近似正交且范数相等时， 这个椭圆才退化为圆， 此时才更接近通常意义上的等半径旋转。

系数角定义为：

在正交坐标近似下， 实际向量 $x_t$ 在张成平面中的几何极角 $\phi_t$ 满足：

因此只有在：

时， $\phi_t$ 才与 $\theta_t$ 一致。

若 $x_0$ 与 $\epsilon$ 不正交， 还需使用它们的 Gram 矩阵描述几何， 不能直接把两条向量当成直角坐标轴。

理想起点若满足：

则：

从 03:33 查看系数角接近零的端点

有限终点 $T$ 通常只要求：

于是：

从 03:41 查看噪声端点

除非调度明确令 $\bar\alpha_T=0$， 否则终点仍保留极少量信号， 不能把近似写成严格等号。

已知：

假设 $x_0\perp\epsilon$， 并使用单位方向：

完成以下三步：

最终应得到：

训练可用闭式边缘分布直接构造任意 $x_t$。

逐步马尔可夫链定义了过程， 但不要求每个训练样本都实际模拟前 $t$ 步。

严格落在单位圆上的是系数对：

数据空间轨迹是该单位圆经过线性映射后的像， 通常为椭圆。

高维集中只说明归一化内积通常接近零。

它不是代数恒等式， 更不表示任意两条高维向量都正交。

正交只保证可以使用直角坐标轴。

若两条方向的范数不同， 轨迹仍是椭圆而不是圆。

常用调度令 $\bar\alpha_T$ 很小， 所以 $x_T$ 近似标准高斯噪声。

是否严格等于噪声， 取决于终点调度是否真的令 $\bar\alpha_T=0$。

上一课把 DDPM 前向边缘采样写成：

两个系数满足：

因此可以定义系数角 $\theta_t$：

本课的问题不是轨迹是否位于椭圆上， 而是：

为了画出二维几何图， 视频继续采用两条高维向量近似正交的直觉。

从 00:50 查看高维噪声的范数尺度

从 00:56 查看高维近似正交

需要先保留边界：

若使用正交单位方向：

则 $x_t$ 的二维坐标约为：

消去时间步可得椭圆：

从 01:20 查看椭圆上的前向轨迹

随着 $t$ 增加， 通常有：

所以 $X_t$ 减小、$Y_t$ 增大。

这只确定了行进方向， 没有说明每一步跨过相同角度或相同弧长。

从 01:29 查看时间步沿椭圆推进

DDPM 中常见三个相关量：

从 02:00 查看累计 alpha 的连乘

即使 $\beta_t$ 对 $t$ 是线性的， $\bar\alpha_t$ 也是许多线性项的乘积， 不会对 $t$ 保持线性。

取对数更容易看清：

当 $\beta_s$ 很小时：

所以：

若 $\beta_s$ 线性增长， 其累加大致是关于 $t$ 的二次函数， 再经过指数映射后更不可能成为线性曲线。

早期 DDPM 常使用线性 beta：

经典像素空间设置常取：

从 02:11 查看线性 beta 调度

从 02:15 查看从 到 的范围

字幕把起点识别成了“十的四次方”， 但画面和 DDPM 上下文均显示应为：

这个数值是具体离散步数和数据表示下的经典设置， 不是所有扩散模型都必须照搬的常数。

由定义：

因此：

从 02:21 查看系数角的正切

从 $t$ 到 $\theta_t$ 至少经过：

即使第一步是线性的， 后面三步也会让角度变成非线性函数。

从 02:33 查看线性 beta 下的非均匀角度

这就是均匀抽取时间步并不代表均匀抽取系数角的原因。

视频在椭圆图上把角度记为 $\theta$。

为了避免符号混淆， 这里把实际二维坐标的极角记为 $\phi_t$。

在正交近似下：

从 02:21 查看几何角的坐标比值

所以：

还需要：

若二者范数不同， 系数角均匀也不保证几何极角均匀。

若二者不正交， 连上述直角坐标正切公式也需要修正。

若只希望系数角从 $0$ 到 $\pi/2$ 均匀变化， 可以直接指定：

从 02:58 查看角度与时间成正比

再令：

于是：

从 03:02 查看圆周参数化

对应的逐步 beta 不能直接拿余弦值代替， 而应由累计量反推：

视频把上述简单构造连接到 Improved DDPM 的 cosine schedule。

从 03:23 查看与 Improved DDPM 的联系

这个联系抓住了余弦累计信号率的核心直觉， 但论文实现并不是无偏移的：

其中：

常用：

随后仍需通过累计量之比得到 $\beta_t$， 并在实现中对过大的 beta 做截断。

因此应分成两层理解：视频的 $\cos^2(\pi t/2T)$ 是教学用的均匀系数角构造；Improved DDPM 使用带偏移、归一化和截断的实际 schedule。二者概念相连，但公式不能逐项画等号。

给定一条期望的累计曲线 $\bar\alpha_t$， 逐步调度可按下面顺序恢复：

例如简化余弦累计量：

对应：

$\beta_t$ 是单步噪声比例， $\alpha_t=1-\beta_t$ 是单步信号比例， $\bar\alpha_t$ 是多步信号比例的累计乘积。

三者不能互换。

真正进入闭式前向公式的是 $\bar\alpha_t$。

它由连乘产生， 通常会呈现明显非线性。

从时间到系数角需要经过累计乘积和反三角函数。

均匀时间步只表示索引间隔相同。

几何极角还包含两条轴的尺度比。

只有正交且等范数时， 二者才重合。

教学用的无偏移 $\cos^2$ 构造便于理解。

Improved DDPM 的实际 schedule 还包含偏移、归一化和 beta 截断。

实现时必须核对所用代码库的具体定义。

扩散模型经常采样：

从 00:07 查看标准多元高斯

其均值向量为：

协方差矩阵为：

从 00:20 查看单位协方差矩阵

单位阵意味着：

并且当 $i\ne j$ 时：

因为这里是联合高斯分布， 零协方差进一步推出各坐标相互独立：

本课关注的随机变量是高斯向量到原点的半径：

核心问题是：

欧氏范数平方为：

从 01:17 查看范数平方的坐标展开

每个 $\epsilon_i^2$ 服从自由度为 $1$ 的卡方分布， 独立求和得到：

卡方分布给出两个精确结果：

也可以只用二阶矩推导第一个等式。

对任一坐标：

从 01:36 查看二阶矩等于方差加均值平方

由期望的线性性：

从 01:47 查看 d 个坐标的二阶矩求和

从：

不能直接推出：

从 01:57 查看两种期望不能直接交换

平方根是凹函数， Jensen 不等式给出：

对有限 $d$， 严格均值实际上略小于 $\sqrt d$。

由于 $R$ 服从自由度为 $d$ 的 chi 分布， 其精确均值为：

高维渐近展开为：

从 02:08 查看半径均值的高维近似

因此视频中的 $\mathbb E[R]\approx\sqrt d$ 是高维近似，而不是从 $\mathbb E[R^2]=d$ 直接开平方得到的恒等式。

利用：

可得精确表达：

代入高维渐近式：

因此标准差约为：

从 02:20 查看半径方差

注意它并没有趋近于零。

高维集中来自相对波动：

即半径中心约为 $\sqrt d$， 绝对厚度仍是常数量级， 但相对于不断增大的半径， 这一厚度越来越薄。

可把大部分高斯概率质量想象成集中在：

附近的一层球壳中。

从 02:26 查看高维高斯球壳直觉

这个图像有三条重要边界。

第一， 每次采样的半径仍是随机的， 不是严格固定为 $\sqrt d$。

第二， 高斯样本不是在某个单一球面上均匀采样。

更准确地说， 各向同性高斯的方向：

在单位球面上均匀， 且方向 $U$ 与半径 $R$ 相互独立； 半径则服从 chi 分布。

第三， 多元高斯密度函数在原点最大， 但概率质量不只由点密度决定。

半径为 $r$ 的球面面积随：

增长， 径向密度与：

成正比。

其众数位于：

这解释了为什么原点密度最高， 大部分质量却远离原点并集中在 $\sqrt d$ 尺度。

固定非零向量 $x_0$， 标准高斯噪声满足：

归一化余弦为：

分子是 $\|x_0\|_2$ 量级， 分母中的 $R$ 是 $\sqrt d$ 量级， 所以：

从 02:49 查看噪声与固定向量近似正交

薄壳提供了范数尺度， 各向同性提供了随机方向； 二者共同形成高维近似正交的直觉。

但“近似正交”仍是概率性陈述， 不能替代一次具体采样的真实内积。

DDPM 前向样本为：

在 $x_0\perp\epsilon$ 的近似下， 取二者单位方向为坐标轴， 可写出椭圆：

从 03:03 查看 DDPM 前向椭圆

利用高维薄壳近似：

就得到：

从 03:24 查看噪声轴尺度为根号 d 的椭圆

这里的近似来自两层：

因此该椭圆是一种高维典型几何， 不是对每一份样本和噪声都成立的精确坐标恒等式。

从 03:32 查看球壳结论

对 $R=\|\epsilon\|_2$， 分别填写：

正确层次是：

不要把三个量都用“约等于根号 $d$”代替。

非线性函数一般不能与期望交换。

有限维下应使用 chi 分布的精确均值； $\sqrt d$ 是高维近似。

薄壳强调的是相对波动趋近于零。

绝对标准差保持常数量级， 而平均半径按 $\sqrt d$ 增长。

方向确实在球面上均匀， 但半径仍是服从 chi 分布的随机变量。

高斯质量集中在一层有厚度的球壳， 不是单一球面。

单点密度没有计入半径增大带来的球面面积。

径向概率质量由密度与体积因子共同决定， 其峰值在 $\sqrt{d-1}$ 附近。

对具体噪声样本， 半轴是实际范数 $\|\epsilon\|_2$。

用 $\sqrt d$ 替换它是高维集中近似。

完成本单元后，应能在不混淆三种“角度”和两种“半径”的前提下解释 DDPM 前向过程。

具体需要做到：

定义单步保留系数

累计保留系数

则任意时刻可直接从干净样本 $x_0$ 采样：

它把数据分量与独立高斯噪声按时间相关系数组合。

令

则

且 $a_t,b_t\ge0$。

所以系数对 $(a_t,b_t)$ 位于第一象限单位圆。

可以参数化为

其中

样本范数为

只有在额外条件下，例如

且

范数才与角度无关。

因此“系数在单位圆”是精确结论，“样本绕圆旋转”通常只是条件化直觉。

对固定的 $x_0$ 与 $\epsilon$：

所有 $x_t$ 都位于

中。

即使数据维度为百万，这条固定噪声实例的轨迹最多也在二维平面内。

若两向量线性相关，轨迹还会退化为一维。

从系数空间到数据空间的映射为

单位圆在一般线性映射下变成椭圆。

若 $x_0$ 与 $\epsilon$ 正交，椭圆半轴尺度与

相关。

若不正交，椭圆还会旋转或剪切。

所以 DDPM 的“旋转插值”更准确地说是系数圆在两向量张成平面中的线性像。

讨论“是否均匀旋转”前，要说明是哪一种量：

三者只有在额外对称条件下才可能一致。

常见线性 schedule 让

随 $t$ 线性变化。

但系数角由累计量

决定。

从 $\beta_t$ 到 $\theta_t$ 依次经过：

所以线性 $\beta_t$ 一般不会产生线性 $\theta_t$。

若教学上直接规定

则

单步系数由相邻累计量反推：

这是一种均匀系数角的简化构造。

Improved DDPM 的 cosine schedule 与余弦累计量直觉相关，但实际公式通常包含：

课程中的 $\cos^2$ 构造用于解释角度，不应不经核对替代具体实现。

视频画面确认线性 $\beta$ 起点示例为 $10^{-4}$，不是 $10^4$。

若 $x_0$ 与 $\epsilon$ 正交，并以二者单位方向为坐标轴，则实际坐标为

几何极角 $\phi_t$ 满足

只有两向量等范数时，$\phi_t=\theta_t$。

因此即使系数角均匀，数据平面几何角也未必均匀。

设

每个分量独立服从标准正态。

平方半径为

所以

精确均值为

高维渐近为

所以“半径为 $\sqrt d$”是高维典型近似，不是逐样本恒等式。

高维时

半径的绝对标准差保持 $O(1)$，而均值为 $O(\sqrt d)$。

相对标准差约为

所以概率质量集中在半径约 $\sqrt d$、相对厚度很小的球壳内。

薄壳不表示所有样本严格落在同一球面。

标准高斯点密度

在原点最大。

但半径为 $r$ 的球壳体积因子随

增长。

径向概率密度近似为

密度下降与球壳面积增长共同作用，使概率质量峰值远离原点，位于约 $\sqrt d$。

标准高斯各向同性。

可写为 $\epsilon=Ru$，其中 $u=\epsilon/\|\epsilon\|$ 在单位球面上均匀，且与随机半径 $R$ 独立。

这解释了为什么高维噪声既没有偏好方向，又在半径上形成薄壳。

对高维标准高斯，常用

描述典型样本。

把这个近似代入 DDPM 轨迹范数，可得到更稳定的典型几何图像。

但它仍是概率集中结论：

只有回答清楚，才能判断“九十度”“匀速”或“圆轨迹”是否准确。

若目标是控制信噪比或系数角，应先设计 $\bar\alpha_t$，再反推单步 $\beta_t$。

直接让 $\beta_t$ 线性，只保证单步噪声方差按线性表变化，不保证累计几何进度线性。