训练动态与 Adam

Adam 不直接使用当前梯度完成全部更新。

它同时维护两条逐坐标的指数移动平均：

视频借用交易价格的 EMA 均线，让这两个随时间更新的向量更容易想象。

这里的“19 日”和“1999 日”是金融 EMA 的 span 参数化，不表示 Adam 保存一个固定长度窗口，也不表示真的存在“交易日”。

交易价格 $p_t$ 是随时间变化的标量。

梯度

是随训练步变化的高维向量。

二者都可以沿时间轴做指数移动平均。

视频 00:00

类比只发生在递推结构上：

它不是把优化问题变成金融预测。

对任意观测序列 $x_t$，定义

上一时刻平滑值的权重是 $\beta$，当前观测的权重是 $1-\beta$。

两者之和为

视频 01:00

这是一种递推计算：无需在每一步重新读取全部历史。

继续代入 $s_{t-1}$：

反复展开并暂时忽略初值项：

距离当前 $k$ 步的观测权重为

它随 $k$ 指数衰减，因此叫 exponential moving average。

若 $\beta$ 较小，当前观测的权重 $1-\beta$ 较大。

EMA 会快速追随新变化，但也更容易保留短期噪声。

若 $\beta$ 接近 $1$，当前观测权重很小，历史衰减很慢。

EMA 曲线响应更迟缓、更平滑。

视频 01:20

“细粒度”与“粗粒度”是视频的直觉说法：

金融软件常把平滑因子写为

其中 $N$ 称为 span。

而视频与 Adam 的写法使用

令两者相等：

解出

这就是标题中 span 与 $\beta$ 的换算式。

代入

视频 00:20

因此 Adam 常用的一阶矩衰减率

可类比为 span $19$ 的 EMA。

同理，

所以常用二阶矩衰减率

可类比为 span $1999$。

这解释了为什么 $v_t$ 的时间尺度比 $m_t$ 慢得多。

span $19$ 不等于“只看最近 $19$ 步”。

EMA 对更早观测仍赋予非零权重，只是权重按 $\beta^k$ 衰减。

不同的“记忆长度”定义还会给出不同数字。

例如编者补充的特征尺度

在 $\beta=0.9$ 时约为 $10$，而不是 $19$。

半衰期则是

这些指标回答不同问题，不能和金融 span 混用。

Adam 的一阶矩递推为

它是梯度向量的 EMA。

梯度各坐标可以为正或负，所以 $m_t$ 也能跨越零点并改变方向。

二阶递推为

$\odot$ 表示逐元素乘法。

每个分量都满足

所以 $v_t$ 的坐标非负。

这里的 $v_t$ 是平方梯度的 EMA，即二阶原始矩估计，不是减去均值平方后的统计方差。

向量加法和标量乘法逐坐标定义。

因此

仍是与 $g_t$ 相同 shape 的向量。

视频 02:00

若把每一步向量端点画在低维示意图上，就能看到较快的一阶矩轨迹与较慢的二阶尺度轨迹。

这只是可视化投影，不表示真实参数空间只有二维。

常用默认值下：

视频 03:00

$m_t$ 更快追随梯度方向变化，$v_t$ 更慢估计各坐标的平方尺度。

这两条 EMA 随后共同构成 Adam 的归一化更新。

画面右上角明确写有“忽略偏差修正”。

因为

训练初期的 EMA 会被零初值拉低。

标准 Adam 还会计算

下一课将从等比数列解释这两个分母。

若

则

因此它对应 span $99$，但仍拥有无限长的指数尾部。

EMA 用 $s_t=\beta s_{t-1}+(1-\beta)x_t$ 递推，并对历史赋予指数衰减权重。

在金融 span 参数 $\alpha=2/(N+1)$ 下，$N=(1+\beta)/(1-\beta)$，所以 $0.9$ 与 $0.999$ 分别对应 $19$ 和 $1999$。

Adam 把这两种时间尺度用于梯度的一阶矩与平方梯度的二阶原始矩；它们不是硬窗口，训练初期还需下一课解释的偏差修正。

上一课把 Adam 的两个状态量看成梯度序列的 EMA：

如果无限久以前就开始观察一个平稳序列，EMA 权重之和可视为 $1$。

但实际训练从第 $1$ 步才开始，并且 Adam 通常取

有限步历史与零初值共同造成了训练初期的缩放偏差。

视频 00:00

先不区分 $m_t$ 与 $v_t$，统一写成

之后只需代入：

整个推导逐坐标成立，因此标量结果可以直接推广到向量。

令

常数输入让我们能精确看出零初始化造成的缩放。

若 EMA 一开始就在稳态，输出应是 $C$；若从零开始，输出会逐步靠近 $C$。

视频 01:20

这只是解析示例。

真实梯度一般不恒定，因此后面不能把“修正后等于 $C$”机械外推到任意训练序列。

把 $s_0=0$ 与 $x_1=C$ 代入：

若 $\beta=0.9$，则

视频 01:40

它不是因为当前样本真的只有 $0.1C$，而是因为剩余权重 $0.9$ 乘到了人为设置的零初值上。

第二步为

第三步为

所以第 $t$ 步满足

视频 02:00

有限等比和为

代回递推展开式：

这表明未修正 EMA 相对 $C$ 少了一个乘法因子

定义修正后的量

在常数输入示例中：

视频 02:40

因此分母不是经验凑出的常数，而是有限等比权重之和。

当输入不是常数时，展开得到

修正后

各项权重之和为

所以一般情况下，bias correction 得到的是已有观测的归一化指数加权平均。

它不会让变化中的梯度“恢复为某个固定真值 $C$”。

标准 Adam 分别修正一阶矩与二阶原始矩：

两个分母不能混用，因为 $m_t$ 和 $v_t$ 使用不同的衰减率。

常见默认值是

当 $0<\beta<1$ 时，随着 $t$ 增大：

因此

视频 03:00

第一步的除数尤其小：

对应的修正倍数分别是 $10$ 与 $1000$。

随后倍数逐渐接近 $1$，但标准 Adam 仍按定义持续计算修正量。

若 $s_0$ 不是零，递推展开包含额外项

此时

常见的 $1-\beta^t$ 修正针对 Adam 的零初始化约定。

不能在改变初始化后仍不加分析地照搬同一解释。

令 $\beta=0.9$、$x_1=x_2=C$。

未修正量为

修正后

Adam 通常把动量初始化为零，导致有限步 EMA 的权重和只有 $1-\beta^t$。

对常数输入 $C$，未修正 EMA 精确等于 $(1-\beta^t)C$；除以该因子即可消除零初值造成的缩放。

对一般非平稳梯度，bias correction 的意义是把已有指数权重重新归一化到和为 $1$，而不是恢复一个并不存在的恒定梯度。

一阶矩与二阶原始矩必须分别使用 $1-\beta_1^t$ 与 $1-\beta_2^t$；修正影响在训练初期最显著。

Adam 为每个参数坐标维护两条 EMA：

经过零初始化偏差修正后：

标准更新为

视频为突出核心直觉，主要分析单个坐标上的

并省略帽子、$\epsilon$ 与有限步过渡过程。

视频 00:00

对参数坐标 $i$，Adam 的状态更新为

平方、开方与除法都逐元素执行。

因此可以先研究一个标量梯度坐标，再把结论并回整个参数向量。

这不表示各参数对损失函数彼此独立：梯度 $g_t$ 仍由整个网络与当前 batch 共同决定。

假设某个坐标在足够长时间里近似满足

在理想稳态下，一阶矩的 EMA 接近

而二阶原始矩接近

视频 00:40

这里的“趋近”依赖输入持续稳定以及 EMA 已经过了初始过渡期。

若先忽略 $\epsilon$，归一化量为

因为

所以

视频 01:00

因此：

原始 ASR 文本把负 $C$ 的结果识别成了“正一”，但画面公式与字幕在这里明确是“负一”。

课程稿以画面和数学恒等式为准。

标准 Adam 实际使用

只有在

时，它才近似为 $\operatorname{sign}(C)$。

当 $|C|$ 与 $\epsilon$ 同量级甚至更小时，幅值会小于 $1$。

$\epsilon$ 还避免了 $C=0$ 时除以零。

再考虑某个坐标频繁出现大小相近、符号相反的梯度，例如

一阶矩对带符号梯度求 EMA，正负项会互相抵消：

二阶原始矩处理的是平方：

因此

视频 01:20

当

则

视频 01:40

关键不是二阶矩也变成零，而是：

于是这一坐标的有效更新相对减小。

若序列严格交替、$\beta_1$ 有限，$m_t$ 在稳态下也可能形成小幅周期振荡，而不是每一步精确等于零。

若正负两侧大小不对称，EMA 还会保留非零均值。

因此更准确的表述是：

方向反复翻转且长期均值较小的分量，其一阶矩会被显著抵消；相较稳定分量，Adam 会抑制它的归一化更新。

视频中的“归零”是帮助理解的理想极限。

在狭长损失山谷中，可把局部梯度粗略分成两个方向：

横向方向通常较陡，迭代可能越过谷底，使梯度符号来回翻转。

沿谷方向的梯度可能较小，但符号更一致。

视频 02:20

于是 Adam 的两条统计量产生如下效果：

Adam 不会自动识别一个全局几何意义上的“正确方向”。

它只根据每个坐标的近期一阶与二阶统计量调整更新。

参数坐标轴也未必与损失曲面的主曲率方向对齐，因此逐坐标预条件并不等价于完整 Hessian 逆矩阵。

该直觉解释了典型狭长山谷中的行为，但不是对任意非凸损失、任意噪声或任意超参数的收敛保证。

训练初期应使用

它们修正零初始化造成的有限权重和。

视频的稳定/振荡对照主要讨论已经形成统计趋势后的形状，因此省略帽子不改变核心符号直觉。

但在实现或精确数值计算中，不能因此删掉修正。

设一个坐标长期满足

理想稳态下

忽略 $\epsilon$：

参数更新前还有一个负号：

因此“归一化量的符号”和“参数实际移动方向”还要通过更新式中的负号区分。

Adam 的一阶矩保留带符号梯度的近期平均，二阶原始矩记录平方尺度。

稳定坐标满足 $m\approx C$、$v\approx C^2$，忽略 $\epsilon$ 后归一化为 $\operatorname{sign}(C)$；正值对应 $+1$，负值对应 $-1$。

正负振荡坐标的一阶矩会相互抵消，而二阶原始矩保持为正，因此归一化更新受到抑制。

这一机制能解释狭长山谷中“减少横向来回摆动、保留沿谷推进”的常见直觉，但它依赖逐坐标近期统计，不是全局方向识别或普遍收敛保证。

学完本单元，应能把 Adam 看成一条连续的计算链，而不是一组彼此孤立的公式：

最终需要具备四项可检验能力：

本单元的核心问题不是“Adam 记住了多少个梯度”，而是：

Adam 从同一个梯度向量 $g_t$ 构造两种观测序列：

再分别做指数移动平均：

这两条状态量使用同一种递推结构，却保留不同信息：

因此 $v_t$ 是二阶原始矩的 EMA，不是统计方差。

它没有减去均值平方，也不直接表示梯度围绕均值的离散程度。

统一写一个 EMA：

向过去展开后，距离当前 $j$ 步的观测权重为

$\beta$ 越接近 $1$，权重衰减越慢，状态量越平滑、响应越迟缓。

$\beta$ 越小，当前观测权重越大，状态量越快追随新变化。

金融 EMA 常用

定义 span，并令

于是

常见的

分别对应金融参数化中的 span $19$ 与 $1999$。

这组数字说明两条状态的时间尺度差异：一阶矩通常更快跟随方向变化，二阶原始矩通常更慢积累尺度信息。

但 span 不是硬窗口。

EMA 不会在第 $N+1$ 步突然遗忘某个历史梯度；所有更早项仍有非零但指数衰减的权重。

若状态从

开始，第 $t$ 步展开式为

此时已有观测的权重和为

训练初期，缺少的权重并没有分给真实观测，而是隐含地落在零初值上。

这就是 bias correction 要处理的有限历史效应。

定义

就得到已有观测的归一化指数加权平均：

且这些系数之和等于 $1$。

对 Adam 分别代入两条状态：

这一步没有改变新旧梯度的相对指数次序，而是去掉零初始化导致的整体缩小。

若所有输入均为常数 $C$，则

所以

这个例子清楚展示了修正分母的来源。

但真实梯度通常随 batch、参数位置与训练阶段变化。

此时 $\widehat s_t$ 是一组历史观测的归一化加权平均，不会神奇地恢复某个固定“真实梯度 $C$”。

标准 Adam 更新为

对单个坐标 $i$：

分子聚合带符号方向，分母提供非负尺度。

因此 Adam 不是单纯的“动量法加一个除法”，而是把两个时间滤波结果组合成逐坐标预条件更新。

若某坐标长期近似满足

并已进入理想稳态，则

忽略 $\epsilon$ 时：

这里保留的是符号，而不是把所有情况都变成 $+1$：

再乘更新式前的负号，参数沿负梯度方向移动。

若另一坐标的梯度大小相近但正负频繁翻转，一阶矩中的带符号项会相互抵消：

平方梯度不发生符号抵消：

于是

在狭长损失山谷的典型直觉中：

这条解释把时间尺度、有限历史修正与方向选择连接成同一机制。

它仍只是逐坐标、有限历史统计下的直觉，不是完整 Hessian 求逆，也不是对任意损失面的全局收敛保证。

bias correction 和 $\epsilon$ 出现在同一个更新公式附近，但解决的是两类问题：$1/(1-\beta^t)$ 处理有限历史权重和，分母中的 $+\epsilon$ 处理数值稳定性。

把 $v_t$ 叫作“方差”会遮蔽稳定分量的关键关系：

而不是零。

看到题目或实际训练曲线时，应先判断当前讨论属于哪一行，再选择公式。

完成以上检查后，本单元关于 Adam 训练动态的公式、直觉与适用边界已经闭环，可以进入后续主题。