SFT、LoRA 与知识蒸馏

本课假设自回归 causal language model。

输入是一段长度为 $T$ 的 token 序列，词表大小为 $V$。

模型在每个位置输出一个 $V$ 维 logits 向量。

视频讨论的是训练刚开始时输出层梯度的结构差异， 不是说预训练和 SFT 使用不同的交叉熵公式。

先固定记号：

$Z_{i,:}$ 是位置 $i$ 的 logits，$P_{i,:}$ 是相应词表概率。

causal LM 在位置 $i$ 预测下一个 token，而不是复原当前位置 token。

若原序列是

那么用于预测的配对可写成

因此一段 $T$ 个 token 的样本通常只有 $T-1$ 个 next-token 监督位置。

实现还可能追加 EOS，或把 BOS 计入输入； 应以实际 input_ids、labels 与 ignore mask 为准。

对一个有效位置，设 one-hot 标签为 $y$，预测概率为 $p$。

交叉熵是

softmax 与交叉熵合并求导得到

正确类别处的梯度是 $p_{gold}-1$， 其他类别处是 $p_v$。

这说明每个有效位置都产生一个 $V$ 维梯度向量。

令有效监督位置集合为 $\mathcal{M}$，数量为 $M$。

采用 mean reduction 时

因此

所以真正决定差异的是集合 $\mathcal{M}$， 以及 reduction 的分母，不是另换了一套导数。

语言模型预训练希望学习整段语料的下一个 token 分布。

在理想化的无 padding 序列中， $\mathcal{M}$ 包含全部可预测位置。

因此 logits 梯度矩阵的每个有效行都形如

这里的“全部”不应机械理解为张量中的每一行。

padding、某些特殊 token、跨文档边界位置都可能被实现掩掉。

一条对话样本通常由 prompt 和 response 拼接而成。

若训练目标只学习回答，prompt 对应 label 会被设为 ignore index。

此时 $\mathcal{M}$ 只包含 response 的 next-token 位置。

prompt 位置输出 logits 的直接梯度为零， response 位置仍是同一个 $p-y$ 形式。

mean reduction 的分母也应是有效 response token 数， 而不是整个拼接序列长度。

必须把以下两个命题分开：

第一个命题在 response-only mask 下成立。

第二个命题通常不成立。

回答位置的隐藏状态可以通过 causal attention 读取 prompt 的 K、V。

回答位置的损失因此会沿 attention 路径反传到 prompt 相关的中间表示， 并继续更新共享的 embedding、attention、FFN 等参数。

换句话说，prompt 没有被要求“在自己的位置预测下一个 token”， 但它仍然作为条件上下文影响回答预测。

视频使用“预训练监督全部、SFT 只监督回答”的典型对比。

现实中还存在：

这些实现会改变 $\mathcal{M}$ 或缩放系数， 但单个有效位置的基本梯度仍是 $p-y$。

本课围绕 kernel 生成举例。

已有资源包括硬件技术文档与专家编写的 kernel 代码。

专家代码可以视为目标答案， 但它并不会自动告诉 student 为什么选择某种 tile、访存或并行策略。

视频画面提到 AscendKernelGen， 并口述一个更早的相似思路来源。

本课只采用画面可证实的流程， 不把项目归属、年份或首创关系扩写为已独立核验的历史事实。

若数据只有

其中 $q$ 是问题、$a$ 是专家 kernel， student 可以学习从题目到答案的 token 映射。

但当答案依赖硬件约束与多步设计选择时， 直接映射可能难学，也缺少可检查的中间依据。

这里缺少的是一段训练用 rationale：

它是后来合成的监督对象， 不等于从专家脑中真实记录下来的原始思考过程。

student 的目标仍是根据问题生成可用 kernel。

为了给它更密集的训练信号， 可以把目标序列组织为

即先输出理由，再输出答案。

训练样本成为

这里的分号表示拼接， 具体 chat template、分隔 token 与 loss mask 由实现决定。

强 teacher 同时获得：

然后生成

给定答案很关键：

teacher 的任务是为一个已知可取答案构造依据， 不是独立求解后再碰巧得到相同代码。

这也带来“事后合理化”风险：

teacher 可能写出语言上连贯、实际上并未决定该答案的理由。

得到合成理由后， 将问题、理由与答案装配成监督样本。

若 prompt 只含问题，response 为理由加答案， 常见 response-only SFT 损失是

student 学的是 teacher 生成的离散文本 token 与专家答案 token。

这属于 synthetic-data SFT， 不是直接拟合 teacher logits 的经典 knowledge distillation。

teacher 的职责是生成候选理由。

student 的职责是通过 SFT 学习给定目标序列。

专家答案提供最终代码目标， 技术文档提供可引用的硬件事实。

这四者不能互相替代：

视频最后提出运行生成的 kernel， 观察正确性与性能反馈，再继续优化。

这一步和前面的离线 SFT 应分阶段描述：

执行成功能验证最终代码在测试条件下可用， 却不会逆向证明合成理由就是唯一或真实的因果解释。

以下是编者补充，不是视频逐句结论。

可对合成理由设置三类门槛：

还可以让另一模型或规则检查器专门寻找理由与代码的矛盾， 但自动评审也不能代替关键样本的人审与真实执行。

本课讨论一个无偏置的线性层。

视频采用“样本在行上”的右乘记法：

$N$ 是 token 或样本数，$D$ 是输入维，$K$ 是输出维。

先固定这个约定， 再讨论不同库中转置后的写法。

给定两个同维向量 $a,b\in\mathbb{R}^{d}$：

例如

外积矩阵的第 $(i,j)$ 个元素是 $a_i b_j$。

全量微调直接学习与 $W$ 同形的更新 $\Delta W$。

LoRA 改为参数化

其中

训练时冻结 $W$，只更新 $A$ 与 $B$。

前向为

参数量从 $DK$ 降为 $R(D+K)$。

这只是可训练矩阵参数量比较， 不是说运行时显存与计算量必然按同一比例下降。

完整链条是

再乘

它与

同形，因此可以相加。

若只记“A、B 是两个小矩阵”而不写轴， 很容易把 $AB$、$BA$ 与转置混为一谈。

矩阵乘法对加法满足分配律：

因此可定义

合并后线性层仍然只有一个 $D\times K$ 权重， 输入输出 shape 与基座层一致。

“结构一致”不表示参数值没变； 任务适配信息已经写进 $W'$。

视频采用

于是

这样训练起点保持基座层原有函数。

同时 $A$ 非零使 $B$ 的首步梯度通常可用， 不会像两个因子都置零那样形成梯度死锁。

具体梯度将在本单元后续课程中展开。

当 $R=1$ 时，

$A$ 是列向量，$B$ 是行向量， 所以 $AB$ 正是一个 $D\times K$ 外积矩阵。

一般 $R$ 下，写出 $A$ 的列与 $B$ 的行：

则

因此“一般 LoRA 像外积”更准确的说法是： 它把更新写成有限个秩一外积之和。

板书使用 $XW$ 与 $AB$ 的右乘约定。

PyTorch nn.Linear 常把参数存为

并计算 $XW_{store}^T$。

相应 LoRA 文档常写

其中 $A\in\mathbb{R}^{R\times D}$、$B\in\mathbb{R}^{K\times R}$。

这与板书在转置一致时表达同一低秩更新， 不能脱离 shape 只比较字母顺序。

此外，常见实现还使用缩放

视频为解释外积省略了该项。

它是实现配置与优化尺度， 不能默认所有 LoRA 都有 $s=1$。

沿用右乘记法：

基础线性层为

本课中的“结构不变”特指： LoRA 合并后可以恢复为一个同输入输出 shape 的普通线性层。

它不表示训练期间从未添加模块， 也不表示微调后的权重数值与基座权重相同。

全量微调让 $W$ 参与优化，得到

推理时仍计算

$W'$ 与 $W$ shape 相同， 所以层的接口不变，但全部 $DK$ 个权重都可能改变。

板书采用论文式右乘 $XW$。

PyTorch nn.Linear 通常存储 $[K,D]$ 的 weight， 前向相当于 $XW_{store}^{T}$。

所以具体库里的因子 shape、A/B 名称与乘法顺序可能转置或互换。

本课所有推导都以板书右乘记法为准， 迁移到代码时必须重新核对实际参数 shape。

LoRA 冻结 $W$，引入

定义

因为 $\Delta W$ 与 $W$ 同形， 训练前向可以写成

若实现含缩放 $s=\alpha/R$，则实际更新是

预训练完成的基座模型原本只有主权重 $W$。

LoRA 微调时才为目标层插入低秩分支， 冻结 $W$ 并训练 $A、B$。

训练结构包含两条路径：

与

两条路径的输出相加。

因此“微调前后模型结构可以不变”不能描述训练瞬间； 训练期确实增加了旁路。

当 $R\ll D,K$ 时，

所以常见 adapter checkpoint 保存：

这样同一个基座模型可以搭配多个任务适配器。

不过“只保存 A、B”不是不可违背的定律。

工具也可能导出 $\Delta W$、完整 merged model， 或连同 bias、embedding 等额外参数一起保存。

由分配律

定义

后，推理只需计算

显式 A/B 旁路可以移除， 层又回到一个普通的 $D\times K$ 权重。

这就是合并后“结构恢复”的代数依据。

保留未合并 adapter 也很常见，尤其用于：

代价是推理时仍需额外旁路计算， 并管理基座与 adapter 的版本匹配。

merged model 则适合固定任务、希望减少额外分支的部署。

选择哪种形式是工程决策， 不是 LoRA 数学要求必须合并。

在理想实数运算下， $XW+X\Delta W$ 与 $X(W+\Delta W)$ 完全相等。

实际浮点计算会因运算顺序与舍入产生微小差别。

若基座权重处于低比特量化格式， 合并通常还涉及：

重新量化可能引入额外误差。

因此对 QLoRA 或其他量化适配器， 不能只凭代数式宣称 bitwise 完全一致。

本课沿用视频的右乘约定：

LoRA 前向写成

$W$ 冻结，只有 $A、B$ 参与优化。

若实现带缩放 $s=\alpha/R$， 可把以下 $XAB$ 替换为 $sXAB$； 它不改变零或非零的逻辑，只缩放相应梯度。

设

对 $b$ 求导时，

如果参与乘积的另一个因子为零， 梯度路径就可能被乘成零。

矩阵乘法也遵循相同的乘积法则， 只是必须同时处理转置与 shape。

令上游梯度为

因为 $W$ 不更新， 初始化问题的关键是低秩分支

可以先设

再写

对线性层 $Y_{lora}=HB$， 权重梯度为输入转置乘上游梯度：

代回 $H=XA$：

shape 检查：

与 $B$ 完全一致。

先从 $Y_{lora}=HB$ 返回 $H$：

再从 $H=XA$ 返回 $A$：

shape 检查：

与 $A$ 完全一致。

两条公式共同揭示：

$A$ 的梯度显式乘 $B$， $B$ 的梯度显式乘 $A$。

若

那么初始更新确实为

但同时

优化器第一步无法更新任一因子， 下一步仍然保持全零，形成固定点。

只要没有其他打破对称或额外梯度的机制， 这个 LoRA 分支就永远学不起来。

若两个因子都从连续随机分布初始化， 一般有

于是训练开始前

已经不同于基座输出 $XW$。

视频用“表现差、胡言乱语”强调风险。

更严谨地说，输出扰动大小取决于：

双随机并不逻辑上保证模型立即完全失效， 但它放弃了“从预训练函数原样起步”的重要性质。

视频采用

初始时

所以旁路不改变基座输出。

首步梯度为

后者通常非零。

因此第一步先更新 $B$。

一旦 $B$ 离开零， $X^TGB^T$ 也能让 $A$ 获得梯度。

这不是说 $A$ 永远不更新， 只是它的首步梯度在该初始化方向下为零。

某些论文或代码写

并采用相反的 shape 与因子命名。

也可能把另一个因子设零。

不要死记“A 必须随机、B 必须为零”。

不变的原则是：

库版本、初始化函数与 target module 不同， 都应以运行时参数与源码为准。

本课讨论自回归语言模型的 output distillation。

teacher 是较大的模型，student 是较小的模型。

二者读取相同 token 序列， 各自在每个有效位置预测下一个 token 的词表分布。

为避免符号混乱，固定：

$t$ 是序列位置，$v$ 是词表中的 token 类别。

输入 token 先嵌入为矩阵 $X$。

经过 Q、K、V 投影、causal attention、FFN 与词表投影后， 模型才得到逐位置 logits。

softmax 将 logits 变为词表概率。

本视频的 KL 发生在 teacher 与 student 的输出概率之间， 不是直接比较二者内部的 Q、K、V 或 FFN 隐状态。

若要做 hidden-state distillation， 还需另行处理层对齐与维度投影；那不是本课主线。

teacher 可以层数更多、hidden size 更宽。

student 可以层数更少、hidden size 更窄。

它们内部张量不必同 shape。

但要直接计算 output KL， 二者必须在同一位置对同一个词表事件集合给出概率。

也就是说

且 token id 到词表项的映射一致。

若 tokenizer 或 vocabulary 不同， 不能不经对齐就逐元素计算 KL。

视频用编码长度解释 KL。

假设事件真实出现频率按 $P$ 分布。

若编码长度按 $P$ 设计， 事件 $v$ 的理想码长是

平均最优码长是熵

这里“最优码长”是在理想化概率编码意义下描述的。

如果事件仍按 $P$ 出现， 却使用根据 $Q$ 设计的码长

平均码长是

关键点是： 两种平均都由 $P(v)$ 加权。

$Q$ 决定的是第二套码长， 不是把事件的实际出现频率改成 $Q$。

在蒸馏中，teacher 的 $P$ 是训练目标分布。

它不是自然界字面意义上的“真实数据分布”， 只是编码类比中被固定为参考分布的一方。

交叉熵减去熵：

这就是

因此视频中的蒸馏方向是

常称 forward KL。

KL 不对称：

交换 teacher 与 student 不只是改写符号， 会改变损失的加权方式与优化行为。

在位置 $t$：

画面示例的一项是

这只是一项， 完整 KL 还必须对该位置的全部词表项求和。

若使用自然对数，单位是 nat； 若使用以 2 为底的对数，单位是 bit。

只要训练与解释保持一致， 底数变化相当于固定尺度变化。

设有效位置集合为 $\mathcal{M}$。

序列蒸馏损失可写成

padding、无效 label 或特定对话区间可从 $\mathcal{M}$ 排除。

训练时通常将 teacher 输出视为常量并停止梯度， 只反向更新 student 参数。

否则优化就不再是“固定教师指导学生”的标准设定。

对固定 teacher 分布 $P$，

$H(P)$ 与 student 参数无关。

因此最小化 forward KL 与最小化 soft-label cross entropy

对 student 有相同梯度。

保留 KL 写法的价值是： 它明确表达两个分布的距离方向， 并使编码长度解释更完整。

以下是常见实现补充，不是视频逐句给出的配置。

蒸馏常用温度 $\tau$ 软化分布：

$\tau>1$ 会让低概率类别携带更多相对信息。

有些实现将蒸馏项乘 $\tau^2$ 以补偿梯度尺度， 并与真实 token 的 hard-label CE 混合：

是否使用温度、$\tau^2$、混合系数与具体 reduction， 必须以实现配置为准。

短视频用矩形宽高表达矩阵 shape。

本课将图中的 $n、m、r$ 统一写为：

采用行向量右乘约定：

若具体库把线性层权重存成 $[K,D]$， 代码中的因子顺序可能转置； 本课先按画面的右乘数学约定推导。

基础线性层是

全量微调直接让 $W$ 参与反向传播与优化。

可训练参数量是

微调后得到与 $W$ 同 shape 的新权重 $W'$。

输入输出接口没有改变， 但完整矩阵的参数值都可能被更新。

LoRA 不直接更新 $W$。

它冻结基座权重， 再引入两个可训练小矩阵 $A、B$。

前向写成

$XW$ 是原主分支， $X\Delta W$ 是新旁路。

训练梯度更新 $A、B$， 不更新被冻结的 $W$。

令

$A$ 把输入特征从 $D$ 压到低秩维 $R$， $B$ 再从 $R$ 映射到输出维 $K$。

shape 链为

因此旁路输出与 $XW$ 同 shape。

矩阵乘积满足

所以

虽然与 $W$ 同 shape， 但其秩至多为 $R$。

LoRA 的建模假设是： 任务适配所需的权重改变量可以由较低秩结构有效表达。

这不意味着任何任务的最佳全量更新都严格低秩， 而是用受限参数化换取训练与存储效率。

视频明确把有效更新写为

$\alpha/R$ 是标量， 不改变矩阵 shape 或秩上界， 但会改变旁路输出与梯度的尺度。

完整前向是

若训练时使用该缩放， 部署合并时也必须保留同一个系数。

LoRA 的可训练参数量是

当

时，通常有

这解释了参数高效微调中的“参数高效”。

但它不自动保证训练总显存按同一比例降低。

激活、优化器实现、量化方式与目标模块范围 也会决定实际内存和速度。

因为 $W$ 与 $\frac{\alpha}{R}AB$ 都是 $D\times K$， 可以定义

于是

合并后不再需要显式计算 A、B 旁路， 线性层恢复为单矩阵前向。

“恢复”指结构与 shape， 并不是回到原来的数值 $W$。

适配信息已经进入 $W'$。

以下是实现边界，不是短视频逐句结论。

也可以保留未合并 adapter：

这时每次前向仍计算旁路， 但获得了任务切换能力。

若基座权重采用低比特量化， 合并往往需要反量化、相加、再量化。

有限精度会引入舍入误差， 不能仅凭实数代数式宣称合并前后 bitwise 完全一致。

完成本单元后，应能从三个互相独立的维度分析模型适配：

还应能：

对输入序列的第 $t$ 个有效位置，模型输出 logits $z_t$ 与概率

one-hot 目标为 $y_t$ 时，单位置交叉熵满足

整个序列的损失由有效位置集合 $\mathcal M$ 聚合：

预训练、SFT 和蒸馏的关键差别之一，就是 $\mathcal M$ 和目标分布怎样定义。

因果语言模型预训练通常让所有有效 token 位置参与 next-token 预测。

response-only SFT 常把 prompt 对应标签设为 ignore，只让回答位置参与直接交叉熵。

因此 prompt 位置 logits 的直接损失梯度可以为零。

但 prompt token 仍参与回答位置的前向条件：

“prompt logits 无直接梯度”不等于“prompt 对训练没有影响”。

判断一条训练样本哪些位置被监督，应检查：

“这是用户消息”或“这是助手消息”的界面标签，不足以证明损失 mask 的实现。

不同模板还可能让特殊 token、工具调用、思维过程或多轮回答采用不同监督规则。

有些数据只有问题与专家答案，缺少中间解释过程。

可以让强 teacher 在问题、参考资料与答案条件下生成 rationale，再组成训练序列：

student 随后对这段离散 token 序列做 SFT。

这种方式迁移的是 teacher 生成的文本轨迹，而不是 teacher 在每个位置的完整词表概率。

因此它更准确地属于 synthetic-data SFT。

teacher 知道最终答案时，可能生成“看起来合理”的事后解释，但解释不一定是得到答案的真实因果路径。

对合成 rationale 至少应分别检查：

执行成功可以验证结果，却不能自动证明自然语言理由完全忠实。

对线性层

全量微调直接更新

LoRA 冻结 $W$，令更新为

其中

是常见缩放。

前向为

损失仍可来自 SFT、偏好学习或其他目标；LoRA 只限制可训练更新所在的参数子空间。

当 $R=1$ 时，

所以 $AB$ 是一个列向量与行向量的外积，秩最多为 1。

一般 $R$ 时：

因此

LoRA 用 $R(D+K)$ 个参数表达一个 $D\times K$ 更新矩阵。

不同论文与库可能交换 $A$、$B$ 的名称，或按 PyTorch 权重存储约定使用转置形式。

迁移实现时应检查：

只背“先 A 后 B”不能防止转置错误。

因为 $AB$ 与 $W$ 同 shape，可以预先计算

之后推理只执行

训练图中的旁路因此可以变成部署图中的单一权重矩阵。

但“可合并”不代表必须合并：

理想初始化希望：

设上游梯度为

在右乘约定下：

若 $A=0$ 且 $B=0$，两个梯度都为零，旁路无法启动。

若 $A=0$、$B$ 非零，则：

初始函数不变；同时

通常可以非零。

反过来也可以构造同样原则的初始化，取决于具体因子命名和乘法方向。

关键规则不是“哪个字母置零”，而是：乘积初始为零，并保留一条非零梯度路径。

teacher 与 student 可以有不同深度、hidden size 和内部结构。

如果做 output distillation，两者需要在监督位置与词表事件空间上对齐。

teacher 在位置 $t$ 给出分布

student 给出

forward KL 为

KL 可写为

对固定 teacher，$H(P)$ 不随 student 参数变化，因此最小化 forward KL 等价于最小化 teacher 到 student 的交叉熵。

标准蒸馏训练中 teacher 应 detach，不让 student 的损失反向更新 teacher。

损失先在每个有效位置对完整词表求和，再按 mask 沿序列聚合。

temperature、$\tau^2$ 补偿、hard-label 混合权重都属于实现配置，不能从一张 KL 简图中默认。

合成理由 SFT：

logit 蒸馏：

二者可以组合，但不能因为都有 teacher 就视为同一方法。

可以使用：

监督类型、监督 mask 和参数化方式可以自由组合，分析时不要把它们绑定成单一套餐。

当训练数据缺少中间解释，且有可靠 teacher、证据或执行器可验证时，合成 rationale 能扩充显式推理轨迹。

若无法验证理由忠实性，应降低信任，避免把流畅解释当作真实过程。

当希望减少可训练参数、保存多个小型 adapter，或保持基座冻结时，LoRA 很合适。

若任务更新需要高秩变化，过小的 $R$ 可能成为表达瓶颈。

部署选择还要考虑 adapter 是否动态切换、是否合并，以及量化权重如何处理。

当 teacher 输出分布包含比 one-hot 标签更丰富的相对概率信息，且能对齐位置与词表时，logit 蒸馏可迁移软目标。

如果 teacher 与 student 词表不一致，需要额外映射，不能直接逐词表计算 KL。