多元优化与几何直觉

设损失函数：

参数基点为：

目标点写成：

其中 $\Delta w$ 是从基点到目标点的位移。

本课只讨论标量值函数。

因此无论参数是一维还是多维， $L(w)$、一阶增量与二阶增量最终都必须是标量。

从 00:07 查看一元与多元公式总览

一元 Taylor 展开写成：

多元展开的结构没有改变：

真正变化的是导数对象：

从 00:30 查看切线增量

在 $w_0$ 附近， 切线斜率为 $L'(w_0)$。

横向位移为 $\Delta w$。

切线预测的纵向变化为：

因此一阶近似是：

当曲线弯曲明显或位移较大时， 只用切线会出现误差。

二阶项用局部曲率修正这种误差。

从 00:47 查看参数向量化

一元情形是：

多元情形变为：

深度学习中， $w$ 可以概念性地收集模型的全部参数。

实际实现通常不会真把所有参数拼成一个长向量， 但数学上可以把每个参数元素赋予一个统一坐标。

从 01:14 查看切平面的一阶高度

在 $w_0$ 处定义列梯度：

多元一阶增量是：

展开索引：

每个参数方向的局部变化相加， 得到总的一阶损失变化。

梯度与位移的内积也说明：

最后一条只表示一阶近似为零， 不保证真实函数完全不变。

从 01:26 查看梯度与 Hessian

Hessian 定义为：

其 shape 为：

二阶增量为：

展开为：

对角元素描述各坐标方向曲率。

非对角元素描述两个坐标方向之间的二阶耦合。

若 $L$ 在邻域内二阶连续可微， 混合偏导相等， Hessian 为对称矩阵。

从 01:35 查看各项为何都是标量

二阶 Taylor 形式为：

shape 检查：

当 $L$ 在 $w_0$ 附近足够光滑时， 可写：

这意味着位移趋近于零时， 余项相对于 $\|\Delta w\|^2$ 更快趋近于零。

Taylor 是局部结论。

不能因为写了二阶项， 就认为远离 $w_0$ 仍能准确描述函数。

对任意方向 $v$， 方向曲率由：

给出。

若 $H_0$ 正定， 所有非零方向的二阶项为正。

若 $H_0$ 负定， 所有非零方向的二阶项为负。

若 $H_0$ 不定， 不同方向可能一正一负， 这通常对应鞍点附近的局部结构。

因此 Hessian 不是“总让近似更高”的矩阵。

它编码的是带方向的局部曲率。

视频提到 OBD 等剪枝理论使用 Taylor 展开。

在驻点附近， 若：

移除或扰动某个参数造成的损失变化可近似为：

这是理解二阶敏感度的入口。

但具体剪枝方法还会采用对角 Hessian、近似逆 Hessian或其他计算简化。

本课公式不能替代这些算法细节。

设：

梯度为：

Hessian 为：

因为函数本身就是二次函数， 它在任意基点的二阶 Taylor 展开都精确等于原函数， 余项为零。

$g_0^T\Delta w$ 是内积， 输出为标量。

非对角元素是不同变量之间的混合偏导。

只有在相应方向曲率为正时， $\Delta w^TH_0\Delta w$ 才为正。

Taylor 展开是局部近似。

位移大小、函数光滑性和高阶导数都会影响误差。

实际模型的 Hessian 极大。

算法通常使用 Hessian-vector product、对角近似或其他结构化近似。

一元 Taylor 的斜率、二阶导与标量位移， 在多元情形分别推广为梯度、Hessian 与向量位移。

二阶展开为：

一阶项是切平面的标量高度变化。

二阶项是 Hessian 定义的方向曲率修正。

可靠使用它时必须同时检查：

考虑：

且满足：

把约束移到等号左侧：

没有约束时， $f$ 在 $(0,0)$ 取得最小值 0。

但 $(0,0)$ 不满足约束。

约束优化只能在可行集合 $g=0$ 上寻找最优点。

从 00:10 查看目标与约束

目标函数：

的图像是向上开的抛物面。

约束：

在 $xy$ 平面上是一条直线。

代入法可以直接验证答案：

求导：

令其为零：

目标值：

从 00:36 查看约束如何切抛物面

把直线约束沿竖直方向延伸， 得到一个竖直平面。

它与抛物面相交， 形成一条抛物线。

约束最小化就是：

沿这条相交曲线寻找高度最低的点。

这个几何图强调：

从 00:59 查看拉格朗日乘子法

采用加号约定：

一阶驻点条件为：

以及原约束：

展开：

这里 $\lambda$ 是为了让两个法向量线性组合为零的标量。

从 01:25 查看正负号约定

有的教材定义：

也有教材定义：

若令：

两种写法完全等价。

不能把一套定义下算出的 $\lambda$ 直接与另一套定义的 $\lambda$ 比较。

真正不变的是：

从 01:35 查看目标与约束梯度

目标梯度：

约束梯度：

按加号约定：

前两式相减得到：

再代入约束：

最后：

若采用 $\mathcal L=f-\widetilde\lambda g$， 同一点对应 $\widetilde\lambda=2$。

从 02:20 查看梯度的几何含义

沿目标等高线移动时， $f$ 保持不变。

若 $v$ 是等高线切向量， 方向导数为：

所以 $\nabla f$ 垂直于目标等高线。

同理， 沿约束曲线 $g=0$ 的切向量 $v$ 满足：

所以 $\nabla g$ 垂直于约束曲线。

从 03:00 查看最优点的共线法向

在正则可行点， 约束切向量 $v$ 满足：

若该点是局部极值， 沿任何可行切向方向的一阶变化也必须为零：

在二维单约束情形下， 与约束切线垂直的法向空间只有一维。

因此：

几何上， 目标等高线逐渐向低值移动， 直到刚好与约束曲线相切。

若两者横穿， 就仍可沿约束向更低的目标等高线移动。

上述推导要求：

这保证约束在局部确实定义一条光滑曲线， 其切空间和法向空间可由 $\nabla g$ 描述。

若约束梯度为零， 简单的 Lagrange 条件可能无法给出乘子， 即使该点确实是最优点。

这类条件统称约束资格条件。

解出：

得到的是候选驻点。

候选点可能是：

还需检查二阶条件、比较目标值或利用问题结构。

本例中：

因此可行驻点 $(1,1)$ 是唯一全局最小点。

这个结论来自凸性， 不是来自“梯度共线”四个字本身。

若有多个等式约束 $g_r(x)=0$， 条件推广为：

目标梯度位于所有约束梯度张成的法向空间。

它不要求与每一个约束梯度分别共线。

不等式约束还需要可行性、互补松弛和乘子符号条件， 即 KKT 框架。

不能直接套用单个等式约束的共线图。

约束给出：

代入目标：

因为平方项非负：

等号只在 $x=1$ 时成立。

所以：

是唯一全局最小点。

$\nabla f+\lambda\nabla g=0$ 只有变量与乘子关系。

还必须同时满足 $g=0$。

Lagrangian 的加号或减号会翻转乘子符号。

最优点和共线关系不变。

它通常只是一阶必要条件。

必须继续检查问题结构或二阶信息。

多个约束下， $\nabla f$ 位于约束梯度的线性张成空间。

若约束资格失败， 标准乘子条件可能不适用。

等式约束把搜索限制在可行曲线或可行流形上。

在正则局部极值处， 目标沿所有可行切向方向的一阶变化为零。

因此目标梯度位于约束的法向空间。

单个二维约束下表现为：

使用 Lagrange 乘子法时要同时检查：

给定样本：

K-Means 要把它们分到 $K$ 个簇， 并为每个簇求一个质心：

经典目标是最小化簇内平方和：

其中 $z_i$ 是样本 $i$ 的簇标签。

本课结论依赖欧氏距离。

若更换距离或采用非球形簇模型， 边界与更新公式都可能改变。

从 00:10 查看初始化与最近质心分配

先选取 $K$ 个初始质心。

固定质心后， 每个样本选择：

平方距离与距离给出相同的最近者， 因为平方根在非负数上单调。

使用平方距离可以避免不必要的开方。

从 00:32 查看质心重算

固定标签后， 第 $k$ 个簇的质心更新为：

为什么是均值？

固定一个簇 $C_k$， 最小化：

对 $\mu$ 求梯度：

解得簇内均值。

所以更新步骤不是经验猜测， 而是固定标签时的精确最优解。

从 00:57 查看迭代停止

一次完整迭代包含：

第一步为每个样本选取更近或同样近的质心， 不会增大 $J$。

第二步为每个簇选择平方误差最小的中心， 也不会增大 $J$。

常见停止条件包括：

目标不增不等于找到全局最优。

不同初始化可能收敛到不同局部固定点。

从 01:04 查看中垂线与最近质心规则

只考虑两个质心：

分类边界上的点 $x$ 满足：

等价地比较平方：

边界的一侧满足：

所以归入 $a$ 所在簇。

另一侧归入 $b$ 所在簇。

边界上的点出现距离并列， 实现需要固定 tie-breaking 规则。

展开等距式：

消去两侧的 $x^Tx$：

整理：

也可写成：

由此立刻读出：

二维时是中垂线。

三维时是中垂面。

更高维时是中垂超平面。

从 01:25 查看中垂线一侧的距离比较

在二维图中， 从点 $C$ 向质心连线作垂线。

若垂足 $D$ 位于中点靠近 $A$ 的一侧， 则：

两条斜边共享同一个垂直高度 $h$：

所以：

这个证明与代数展开表达同一事实。

代数式更容易推广到任意维度。

从 02:00 查看三维中垂面

三维中， 两个质心的等距集合是经过中点、 垂直于质心连线的平面。

高维中， 公式仍是：

因此边界仍然线性。

这不是因为高维图形看起来像平面， 而是因为平方欧氏距离展开后 $x^Tx$ 抵消。

对质心 $\mu_k$， 它的分配区域为：

每一个两两比较都给出一个线性半空间。

$V_k$ 是这些半空间的交集， 称为该质心的 Voronoi 单元。

所以：

质心更新后， 整套 Voronoi 划分也随之移动。

等距超平面公式对任意有限维欧氏空间都成立。

但在高维数据中还要注意：

常见前处理包括标准化、特征选择或降维。

这些问题不推翻超平面公式， 而是提醒“数学边界成立”不等于“聚类语义一定合理”。

经典 K-Means 更适合：

它不天然适合：

更换为余弦距离、曼哈顿距离或其他相似度后， “更新为算术均值”和“边界是中垂超平面”都不能直接照搬。

设：

边界：

中点为 $(2,1)$， 法向量为 $(4,2)$。

所以：

即：

K-Means 质心是簇内均值， 通常不落在原始数据点上。

交替更新只保证目标不增。

最终结果依赖初始化。

二维是线， 三维是面， $d$ 维是 $d-1$ 维超平面。

线性边界来自平方欧氏距离中的 $x^Tx$ 抵消。

其他距离需要重新推导。

高维量纲、噪声和簇形状仍会影响欧氏距离的语义。

K-Means 在两个步骤间交替：

对两个质心 $a,b$， 欧氏等距边界为：

它经过两质心中点， 法向量是质心差。

二维是中垂线， 三维是中垂面， 高维是超平面。

多个质心的两两半空间交集形成 Voronoi 单元。

使用这套几何解释时， 还必须记住欧氏距离、特征尺度、初始化和局部最优的边界。

设模型参数为张量 $W$， 损失为标量：

深度学习反向传播通常计算：

因为输出是标量， 每个参数元素只需要保存一个对应偏导。

所以梯度可以按参数原位置排回同一个 shape。

如果输出本身是向量或张量， 完整导数一般是 Jacobian， 不再只是与输入同 shape 的梯度。

从 00:24 查看梯度定义

设：

标量损失对 $W$ 的梯度定义为：

每个梯度元素回答：

在其他参数暂时不变时， 对应参数增加一个微小量， 损失的一阶变化率是多少。

shape 相同使得后续更新：

可以逐元素对齐。

对任意参数张量：

若：

则：

但若：

也是多元素张量， 完整 Jacobian 要同时保留输出轴和输入轴。

所以更严谨的说法是：

“标量损失对参数张量的梯度与参数同 shape。”

不能把它误写成“任何张量对张量求导都同 shape”。

从 00:50 查看梯度记号

常见写法包括：

以及代码或算子推导中的：

这些记号在具体语境中都可表示：

但 $dW$ 有歧义：

阅读公式时要先确认作者的记号约定。

从 01:40 查看标量到标量与向量到标量

一元损失：

输入 $w$ 与输出 $L$ 都是标量。

多元损失：

输入扩为：

输出仍是一个标量损失。

多元并不是“损失也变成向量”。

它表示需要同时优化多个参数自由度。

从 02:03 查看一元导数

损失：

导数：

在 $w=1$：

梯度下降更新：

取：

得到：

参数从 1 向最小点 0 移动。

从 02:14 查看多元偏导

设：

分别求偏导：

按参数顺序组成列梯度：

在：

处：

从 02:33 查看统一梯度下降公式

统一写成：

对二维示例：

对矩阵、卷积核或更高阶参数， 公式仍不变。

梯度与参数同 shape， 所以每个元素都有对应更新量。

一阶 Taylor 近似：

若限制步长：

使内积最小的方向是：

因此在欧氏或 Frobenius 几何下， 负梯度是局部最陡下降方向。

“最陡”依赖所选范数或度量。

换成自然梯度等方法后， 方向会按不同几何重新缩放。

负梯度给出局部方向， 但更新长度由 $\eta$ 决定。

对：

更新为：

要让迭代收敛到 0， 需要：

即：

视频中的 $\eta=0.25$ 满足该条件。

若 $\eta$ 太大， 即使方向是负梯度， 一步也可能跨过谷底并造成振荡或发散。

若 $\nabla L$ 是 $\beta$-Lipschitz， 下降引理说明在 $0<\eta<2/\beta$ 时， 标准梯度步具有单步下降保证。

这是视频外的条件说明。

非凸深度网络中仍不能据此保证到达全局最优， 更常见的目标是找到驻点或较低损失区域。

设：

展开：

所以：

按原位排列：

更新为：

只有标量输出对输入的梯度可直接按输入 shape 排列。

多元素输出的完整导数是 Jacobian。

在微分推导中， dW 也可能表示参数变化。

必须查看上下文定义。

方向是局部结论。

学习率过大仍可能上升或发散。

只要梯度与参数 shape 对齐， 统一张量公式即可逐元素更新。

一般非凸问题没有这种保证。

标量损失对参数张量的梯度， 是所有参数元素偏导按原位置排成的同 shape 张量。

一元和多元使用同一更新：

多元推广只把：

负梯度是欧氏几何下的局部最陡下降方向。

是否真正下降还取决于学习率、函数光滑性和优化问题结构。

本课把三个主题并排比较：

它们都从标量走向向量和矩阵， 但不是同一条公式的三个名字。

三者分别处理：

从 00:29 查看三种一元到多元的总览

正态分布：

梯度下降：

Taylor 展开：

共同点是线性代数结构增加。

不同点是变量的概率、优化与近似语义不能混用。

从 02:34 查看一元正态回顾

一元正态写作：

密度为：

$\mu$ 决定中心。

$\sigma^2$ 决定宽度。

密度 $p(x)$ 是实数输入到非负标量的映射。

单点密度值不是单点概率。

连续分布在区间上的积分才给出概率。

从 04:20 查看多元正态密度公式

设：

非退化多元正态密度为：

这里要求 $\Sigma$ 对称正定， 从而：

若 $\Sigma$ 仅半正定且奇异， 分布可能集中在低维子空间， 不能直接使用上式的逆矩阵与普通体积密度。

这是视频图示之外的重要边界。

shape 账本：

所以 Mahalanobis 二次型：

的 shape 是：

行列式 $|\Sigma|$ 也是标量。

因此：

输入从数扩为向量， 输出仍是密度高度。

从 03:45 查看一元公式如何从多元公式退化

当 $d=1$：

于是：

代回多元公式， 正好得到一元正态密度。

这不是相似类比， 而是参数维度退化后的严格特例关系。

从 05:20 查看协方差的几何作用

固定密度等价于固定：

二维中， 它给出椭圆。

高维中， 它给出椭球面。

更精确地说：

正协方差与负协方差给出相反倾斜方向。

原 ASR 在负相关片段漏掉负号， 此处按画面与“负相关”语义校正。

从 06:00 查看扩散模型常用标准正态

多元标准正态写作：

它满足：

其密度只依赖 $\|x\|_2$， 所以具有旋转对称性。

DDPM 等扩散模型常从这一分布采样噪声。

从 06:40 查看梯度按原位排列

设标量损失：

梯度：

参数若是矩阵或高阶张量， 梯度也按相同位置排列。

这个同 shape 结论要求输出是标量损失。

向量输出对向量输入的完整导数一般是 Jacobian。

从 09:00 查看标量更新与向量更新

统一更新为：

一元中， $w$ 和梯度都是标量。

多元中， 它们是同 shape 向量或张量。

对：

有：

在 $(1,1)$ 且 $\eta=0.25$ 时：

负梯度是欧氏几何下的局部最陡下降方向。

学习率过大时仍可能发散， 非凸问题也不保证全局最优。

从 09:22 查看一元 Taylor 回顾

一元二阶形式：

多元中：

二阶形式变为：

从 11:00 查看多元 Taylor 的 shape

一阶项 shape：

二阶项 shape：

Taylor 是基点附近的局部近似。

准确性取决于位移大小、函数光滑性与被省略的高阶项。

统一点：

不同点：

不能因为三者都出现矩阵， 就把协方差、Hessian 与参数梯度视为同一对象。

它们的单位、对称性和数学作用都不同。

设：

则：

二次型：

的 shape 为：

行列式：

也是标量。

所以 $p(x)$ 为标量。

概率由区域上的密度积分给出。

非退化密度要求 $\Sigma$ 对称正定。

这一等价在联合 Gaussian 中成立， 一般分布中不成立。

方向是局部信息， 步长过大仍可能发散。

它们分别描述随机变量联合变化、局部二阶曲率与损失一阶变化。

三种多元推广都使用向量和矩阵， 但各自推广对象不同：

可靠理解这些公式的共同方法是：

本课把三个常见的“一元到多元”放在同一张地图上：

从 00:03 查看三类多元推广的总览

三者都会出现向量或矩阵， 但“出现矩阵”不等于“矩阵的意义相同”。

后文统一采用列向量约定：

视频画面中把梯度横放、位移竖放， 对应这里的 $\nabla L(w_0)^T\Delta w$。

从 00:11 查看一元 Taylor 的几何解释

在基点 $w_0$ 附近， 令目标位置为：

二阶 Taylor 展开写作：

四部分各有明确角色：

若只保留一阶项， 得到局部线性化：

当参数变成向量：

函数仍输出一个标量：

从 00:40 查看多元 Taylor 的向量结构

二阶展开变为：

其中：

shape 账本为：