剪枝与二阶压缩

本课是剪枝主题的最小模型。

后续 OBD、OBS 等方法会讨论怎样更聪明地选择被剪权重；这里先回答更基础的问题：为什么常见剪枝实现表现为把权重元素写成零？

答案来自线性层的代数与连接图之间的一一对应。

设权重矩阵为 $W$，阈值为 $\varepsilon>0$。

最简单的 magnitude pruning 规则是：

它假设绝对值很小的权重对输出影响通常较小，因此优先归零。

更紧凑地定义二值 mask：

则

$\odot$ 表示逐元素乘法，而不是矩阵乘法。

视频把 $\varepsilon$ 描述为一个不太大的阈值。

工程中常见的两种设定方式是：

第二种方式更容易精确控制零元素比例。

若阈值处有并列值，需要确定 tie-breaking，否则可能多剪或少剪。

许多训练后权重集中在零附近。

当阈值剪枝把中间一段小幅值权重统一写成零时：

图中“中间空出来”说的是剩余非零权重的分布。

不能误解为零权重已经从 dense 张量内存中自动消失。

采用视频板书的行向量写法：

输出为

因此

在这个记号中，$W$ 的第 $j$ 行存放通向输出 $y_j$ 的全部权重。

$W_{ji}$ 表示从输入 $x_i$ 到输出 $y_j$ 的连边权重。

一般形式为

展开其中一项：

神经网络连接图把这项画成一条从 $x_i$ 指向 $y_j$ 的边，并把 $W_{ji}$ 标在边上。

矩阵乘法与连接图并不是两个不同机制，而是同一线性变换的两种表达。

若把

那么对应项变成

不论输入 $x_i$ 取什么值，这条边都不再影响 $y_j$。

因此在函数和计算图语义上，这条连边可以删除。

这就是“权重置零等价于剪枝”的核心证明。

把上例中的 $W_{12}=2$ 置零：

新输出为

只有 $x_2\to y_1$ 的贡献消失；其他五条边保持不变。

这类逐元素归零属于非结构化剪枝。

若一次删除整个神经元、通道或注意力头，则属于更粗粒度的结构化剪枝。

视频提到稀疏矩阵更易存储和计算，这需要一个实现边界。

从数学上看，零权重的乘法可以省略。

但若 $W^{\mathrm{pruned}}$ 仍以普通 dense tensor 存储，并调用 dense GEMM：

要获得实际收益，通常还需要：

因此应分三层表述：

单看 $|W_{ji}|$ 忽略了输入尺度和参数耦合。

即使 $|W_{ji}|$ 很小，如果 $|x_i|$ 经常很大，乘积 $W_{ji}x_i$ 仍可能重要。

反过来，一个较大权重也可能因输入方向很少激活而影响有限。

后续 OBD、OBS 等方法会引入曲率，估计置零权重后的损失增加，而不只看幅值。

需要知道剪枝把部分权重置零，稀疏度表示被置零权重的比例。

还需要把 Hessian 对角元素 $H_{ii}$ 理解为损失沿第 $i$ 个权重方向的局部曲率。

本课位于“剪枝与二阶压缩”单元。

它先建立 magnitude pruning 与 OBD 的评分差异，再回答一个特殊情形：当局部损失山谷近似圆形时，为什么两种评分会给出同一个剪枝顺序。

最直接的非结构化剪枝规则是

其中 $\varepsilon$ 不是任意拍定，而是由目标稀疏度决定。

假设共有 $N=1000$ 个权重，目标稀疏度是 $s=0.3$。

那么需要剪掉

个绝对值最小的权重。

把 $|w_i|$ 从小到大排列，第 $300$ 小的绝对值就给出了切分位置。

实际实现可使用完整排序，也可使用 selection / top-k 一类顺序统计量算法，不必总把所有元素彻底排好序。

这个方法隐含了一个判断：权重越小，置零它造成的损害越小。

但这个判断没有利用损失函数在不同方向上的曲率。

在 OBD 的局部二阶模型中，剪掉单个权重 $w_i$ 的重要性分数为

这里：

因此 OBD 与 magnitude pruning 的流程外形很像：都算分、排序，再剪掉分数最小的一批。

真正的差别在评分：前者用 $\frac12H_{ii}w_i^2$，后者只看 $|w_i|$。

课程提到 Hessian 信息可以借助校准数据估计。

准确地说，校准数据提供了在代表性输入上的损失或输出统计，具体实现仍要选择 Hessian 或近似曲率的计算方式。

把二维局部损失写成

若等高线是圆形，局部二次曲率各向同性，可写为

其中 $\lambda>0$。

于是每个坐标方向都有

OBD 分数变为

对所有权重而言，$\frac12\lambda$ 都是相同的正数。

乘上同一个正数不会改变排序，因此

所以两种方法会在同一个位置切分，并剪掉同一组权重。

“退化”指评分排序等价，不是说二阶推导本身消失了。

如果 Hessian 不各向同性，不同方向的 $H_{ii}$ 可以相差很大。

考虑两个权重满足

但曲率满足

那么完全可能出现

此时 $w_2$ 虽然绝对值更小，置零它反而造成更大的局部损失上升。

几何上，置零 $w_i$ 是沿第 $i$ 个坐标轴移动到零平面。

在狭长、各向异性的山谷里，较短的坐标位移可能沿着陡峭方向，跨越很多等高线；较长位移也可能沿平缓方向，只跨越少量等高线。

所以“位移短”与“损失增长小”不是一般等价关系。

圆形等高线没有特别陡或特别平的方向。

局部损失只由到中心的欧氏距离决定。

沿坐标轴把某个权重置零时，位移长度就是 $|w_i|$。

因此：

这与前面的代数证明是同一个结论的两种表述。

“圆形山谷”是局部二次模型中的理想情形。

它至少要求所比较方向的对角曲率相同。

若 Hessian 还含有显著非对角项，权重方向彼此耦合，仅比较 $H_{ii}$ 仍可能遗漏联动效应。

若模型未处在近似驻点，或剪枝位移大到离开局部二次区域，真实损失变化也可能偏离该评分。

因此本课结论适合用来理解算法关系，不应被读成“真实神经网络损失总是圆形”。

需要熟悉导数描述斜率、二阶导数描述曲率，并知道剪枝把某个权重从 $w_i$ 改为 $0$。

上一课直接使用了

本课不再把它当作现成公式，而是从多元 Taylor 展开追溯它成立的条件。

对一元损失函数 $L(w)$，在 $w_0$ 附近写 $w=w_0+\Delta w$。

Taylor 展开为

三个显式项分别回答：

加入的阶数越高，局部拟合通常越精细，但计算与存储也更复杂。

OBD 的名字 Optimal Brain Damage 虽然强调剪枝，其数学入口正是这个局部近似。

神经网络参数不是一个标量，而是向量

从当前参数 $w_0$ 施加扰动 $\Delta w$ 后，新的参数为

多元二阶展开是

其中

shape 检查如下：

几何上，$g^T\Delta w$ 描述切平面的高度变化，二次型描述局部山谷的弯曲方式。

OBD 假设训练后的参数 $w_0$ 已经收敛到局部谷底附近，因此

于是一次项消失：

几何上，这意味着展开点处的切平面近似水平。

这并不要求训练误差为零，也不要求 $L(w_0)=0$。

“损失值为零”和“损失对参数的一阶导为零”是两件不同的事。

真实模型中，随机优化、有限训练与数值误差都可能让 $g$ 只近似为零。

OBD 忽略三阶及以上项，保留

课程把这一点形容为山谷是“完美抛物线”。

更谨慎的表述是：在当前点附近、对所考虑的剪枝扰动范围，二次近似足够有用。

它不宣称真实深度网络的全局损失面就是一个二次函数。

若一次剪掉很多权重，$\Delta w$ 很大，局部 Taylor 近似可能明显失真。

一般 Hessian 为

非对角项 $H_{ij}$ 描述第 $i$、$j$ 个权重扰动之间的二阶耦合。

OBD 把它近似成

此时二次型可拆为逐坐标求和：

没有 $\Delta w_i\Delta w_j$ 交叉项，因此每个权重的局部代价可以单独计算。

在二维正曲率情形中，对角 Hessian 对应轴对齐椭圆。

旋转椭圆意味着主曲率方向与坐标轴不一致，也就是原坐标下存在耦合项。

还要区分“轴对齐椭圆”和“圆”：前者只要求 Hessian 对角，后者还要求各对角元素相同。

现在只剪掉第 $i$ 个权重，其他权重保持不变。

扰动满足

并且对 $j\ne i$ 有

代入对角二次型：

这就是 OBD 的 saliency 或重要性分数。

分数小表示在当前局部模型下，把该权重置零预计造成的损失上升小。

因此 OBD 对所有权重计算分数，优先剪掉分数最小者。

三项假设不是重复表达：

前两项建立“局部二阶世界”，第三项才把一般二次型简化为 OBD 可批量排序的逐权重分数。

下一课的 OBS 会保留前两项，但放松第三项。

需要掌握上一课的局部二次模型

以及 OBD 对 Hessian 做对角近似后得到的逐权重分数。

本课进入 OBS（Optimal Brain Surgeon）。

核心变化不是放弃二阶近似，而是恢复 OBD 忽略的权重耦合，并允许其他权重在剪掉一个坐标后协同调整。

在当前参数 $w_0$ 附近，完整展开写成

OBD 使用三项简化：

前两项把问题限制在局部二次世界。

第三项进一步删除所有交叉项，使

因此 OBD 能给每个权重一个独立分数，并一次排序剪掉一批。

OBS 同样假设

并忽略高阶项，所以仍以

作为目标。

不同的是，OBS 允许 $H$ 是一般非对角矩阵。

展开后会出现

形式的交叉项。

这表示剪掉 $w_i$ 后，如果同时适当调整其他权重，某些损失上升可以被抵消。

因此 OBS 不再把“剪掉一个权重”理解为只有这个坐标变化，而是把它理解为一个带约束的全向量优化问题。

若要剪掉第 $i$ 个权重，新参数必须满足

用第 $i$ 个单位向量 $e_i$ 表示，就是

OBS 要求在这个约束下最小化局部损失：

这是标准的等式约束二次优化，可用 Lagrange 乘子求解。

构造

对 $\Delta w$ 求导并令其为零：

若 $H$ 可逆，则

再代回约束可得

因此最优补偿向量为

这里上标星号表示“在剪掉第 $i$ 个候选权重时的最优整向量改变量”，不是只有第 $i$ 个分量。

把最优补偿向量代回二次目标，可得

注意它不是简单把 OBD 的 $H_{ii}$ 换成 $[H^{-1}]_{ii}$。

逆 Hessian 对角元素出现在分母，因此实际曲率因子是

这个量已经考虑了其他权重可通过耦合方向进行补偿的能力。

若某个方向很容易由其他坐标共同调整来吸收，约束最小代价会相应改变。

三种方法可写成：

它们利用的信息逐步增加：

这不自动保证任何有限实现都严格更优。

估计误差、数值稳定性、计算预算和局部模型失真都会影响实际结果。

magnitude pruning 与经典 OBD 常先计算所有分数，再按排序一次性剪掉一批权重。

朴素 OBS 则一次选择当前分数最小的单个权重。

剪掉它以后，使用 $\Delta w_i^*$ 更新其他权重，让局部损失上升尽量小。

补偿后的参数已经改变，下一轮面对的有效问题也改变了。

课程因此把流程概括为：

这种顺序化处理比一次性按静态分数剪完更昂贵，但它能把每一步的补偿纳入后续决策。

OBS 保留：

OBS 修改：

所以 OBS 不是另起炉灶，而是在相同局部二次框架中解除 OBD 的“权重解耦”限制。

上一课得到 OBS 的两个核心公式：

本课要检验的不只是评分公式。

因为朴素 OBS 还会逐权重补偿，所以只有证明“评分退化”和“补偿退化”同时成立，才能说 OBD 是 OBS 的完整特殊情形。

OBD 与 OBS 都从近似驻点和二阶 Taylor 截断出发：

它们的区别是：

因此要从 OBS 得到 OBD，最自然的特殊化就是令

并假设相关 $h_i$ 非零，使逆矩阵存在。

对角 Hessian 的逆仍是对角阵：

所以第 $i$ 个对角元素满足

这个等式是后面两个退化证明共同使用的关键。

一般 OBS 分数为

代入

得到

因此在同一组权重与同一对角 Hessian 下，两种方法给每个候选权重完全相同的局部重要性分数。

它们会选择同一个最小分数候选。

但仅有这一步还不够，因为 OBS 剪完后会补偿其他权重，而经典 OBD 通常按静态分数排序后直接置零。

剪掉第 $i$ 个权重的约束为

满足该约束并最小化二次损失的变化是

$e_i$ 是第 $i$ 个标准基向量：

矩阵乘 $H^{-1}e_i$ 会抽取 $H^{-1}$ 的第 $i$ 列。

若 $H^{-1}$ 非对角，这一列通常包含多个非零分量，于是补偿会同时修改多个权重。

当 $H$ 对角时，$H^{-1}$ 同样对角。

它的第 $i$ 列除第 $i$ 项外全为零，因此

再把它代入补偿公式：

分母中的 $1/H_{ii}$ 与向量中的 $1/H_{ii}$ 相消，得到

向量 $-w_ie_i$ 的具体形状是

更新后第 $i$ 个权重变成

其他 $j\ne i$ 的权重满足

也就是说，OBS 虽然形式上执行了“最优补偿”，结果却没有对其余权重做任何补偿。

这正是 OBD 的置零行为。

若只证明评分相同，只能说明两种方法第一步选中同一个候选。

如果 OBS 随后大幅调整其他权重，下一轮参数与分数就可能不同，算法轨迹不会与 OBD 相同。

现在我们同时得到：

因此在对角 Hessian 的同一局部二次模型中，OBS 利用耦合补偿的额外自由度完全消失。

OBD 可以看作 OBS 在“权重真正解耦”条件下的特殊情形。

课程强调 OBS 一次剪一个权重，而 OBD 常按分数一次剪掉一批。

在理想对角模型下，每次 OBS 补偿都只置零当前坐标，不改动其他权重。

若还把 Hessian 视为固定的局部二次模型，则剩余候选的分数也不因交叉补偿而变化。

此时逐次选择与按同一分数一次排序可得到相同的剪枝集合。

但在真实实现中，下列因素会破坏严格等价：

所以“OBD 是特殊的 OBS”是模型假设下的结构关系，不是对所有工程实现逐指令相同的声明。

上一课说 OBS 相对 OBD 放松了 Hessian 对角假设。

本课从反方向验证：一旦重新施加这个假设，OBS 的两个新增能力都会消失。

因此 OBD 与 OBS 不是互不相干的两套公式，而是同一个约束二次优化在不同 Hessian 结构假设下的两个层次。

前两课已经说明：OBS 相比 OBD 保留 Hessian 的非对角项，并在剪掉一个权重后补偿其他权重。

但“补偿”不是一条经验规则。

它来自一个明确的问题：在第 $i$ 个权重必须变成零的前提下，怎样调整整个权重向量，才能让局部损失增加最少？

本课把这个问题完整解出。

设当前权重为 $w$，施加变化后为 $w+\Delta w$。

在当前点附近，若一阶梯度近似为零并忽略三阶以上项，则损失增量近似为

其中 $H$ 是损失关于权重的 Hessian。

这个二次型同时考虑：

OBS 要做的不是单独计算“把 $w_i$ 改成零”的代价，而是允许所有坐标一起变化，再寻找代价最小的可行变化。

对固定候选 $i$，OBS 的优化目标是

若 $H$ 为正定矩阵，这个目标是严格凸二次函数，约束下的解唯一。

若 Hessian 仅半正定或数值上接近奇异，工程实现通常需要阻尼或稳定化处理；本课推导先采用 $H^{-1}$ 存在的理想条件。

剪掉第 $i$ 个权重意味着

因此

令 $e_i$ 为第 $i$ 个标准基向量，则

约束可以统一写成

这里的 $e_i$ 不是新参数，它只负责从向量中抽取第 $i$ 个坐标。

至此，OBS 的单权重剪枝问题成为

引入标量拉格朗日乘子 $\lambda$：

对 $\Delta w$ 求梯度并令其为零：

于是

这个式子先确定了方向：最优变化沿 $H^{-1}$ 的第 $i$ 列。

因为

正好抽取 $H^{-1}$ 的第 $i$ 列。

若该列在多个坐标上非零，置零 $w_i$ 时就应同时调整那些坐标。

把

代回约束：

注意

所以

进而

最优补偿向量为

第 $i$ 个分量确实等于 $-w_i$：

因此这个解既满足置零要求，也利用其余坐标降低二次损失。

将

代入二次目标：

再代入

得到

这就是朴素 OBS 的重要性分数。

分数越小，表示“强制把该权重置零并最优补偿其余权重”造成的局部损失上升越小。

因此每轮选择最小分数候选，而不是最大分数候选。

分子 $w_i^2$ 表示到零的坐标距离。

在其他条件相同时，权重绝对值越小，置零位移通常越小。

分母 $[H^{-1}]_{ii}$ 则反映在完整耦合曲率下，第 $i$ 个坐标可被整个参数系统吸收和补偿的程度。

不能把分母简单理解为 $1/H_{ii}$，除非 $H$ 真的是对角矩阵。

这正是 OBS 与 OBD 的区别。

该公式依赖局部二次近似、近似驻点和可逆 Hessian。

它没有保证一次剪掉大量权重后仍精确，也没有说明真实网络的全局任务损失一定按该二次式变化。

实际算法还要处理：

本课公式的价值是把“选择谁、怎样补偿、预计损失多少”统一成一个可验证的约束优化解。

上一课得到 OBS 的两个结果：

它们都围绕同一个硬约束：把 $w_i$ 从当前值移动到 $0$。

本课只改变目标值：不一定移动到零，也可以移动到某个可表示的量化值 $q_i$。

课程板书提到 OBC 论文中的统一视角。

这里应区分：

两者关系密切，但讨论具体的量化评分与补偿公式时，应使用 OBQ。

OBS 与 OBQ 的共同流程是：

一般量化把浮点权重 $w_i$ 映射到量化集合中的值 $q_i$：

若定义特殊的映射

那么所有被处理权重的目标值都是零。

这在参数值层面就是剪枝。

“剪枝是特殊量化”不是说两种工程实现的稀疏存储、内核或加速方式相同。

它指的是二阶约束优化中的目标值关系。

沿用“新权重等于旧权重加变化量”的记号：

把第 $i$ 个权重量化到 $q_i$，约束为

也就是

与 OBS 相比，只是把原来的 $w_i$ 换成了 $w_i-q_i$。