Transformer 计算图与语言模型训练

01

主题讲解 · 02:53

Decoder-Only Transformer：从 Token 投影到下一层

学习目标

沿一次 decoder-only 前向传播追踪 embedding、QKV、attention、 $W_O$ 与 FFN。
区分 token-wise 线性投影与 attention 中的 token 混合。
解释 $QK^T$ 、因果掩码、行 softmax 与 $PV$ 的作用。
用 shape 验证各阶段输入输出。
理解层间拓扑相似不代表参数共享。
识别板书为易读而省略的关键实现细节。

前置与衔接

本课采用 decoder-only Transformer，把一层中最重要的数据流放进一张板书。

从 00:00 查看完整可视化

一张板书串起 embedding、attention、FFN 与下一层 — **图 1**
一张板书串起 embedding、QKV 投影、因果 attention、输出投影、FFN 与下一层。
原视频 · 00:00 ↗

视频在 00:12 明确省略：

多头拆分；
缩放因子 $1/\sqrt{d_k}$ ；
位置编码；
残差连接。

板书还没有展开 Norm、dropout、FFN 激活与门控。因此它是理解数据依赖关系的骨架，不是某个 LLM 的逐算子实现图。

本课统一采用：

X\in\mathbb R^{T\times d},

其中行对应 token，列对应特征。

核心讲解

1. Token 先变成表示矩阵

从 00:18 查看三个 token 的 embedding

设三个 token 的表示为：

X= \begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix} \in\mathbb R^{3\times d}.

embedding 只给出初始表示。在更高层， $X$ 则是上一层 block 的输出。

2. QKV 投影不会混合 token 行

线性投影为：

Q=XW_Q, \qquad K=XW_K, \qquad V=XW_V.

从 00:27 查看 QKV 投影

从 00:33 查看按行分块乘法

输入按 token 行分块，乘共享矩阵后仍逐行对应 — **图 2**
按行分块的输入乘共享权重矩阵后仍按行输出，每个 token 的线性投影互不混行。
原视频 · 00:40 ↗

逐行看：

q_i=x_iW_Q.

$x_1$ 只生成 $q_1$ ，不会在线性投影这一步直接改写 $q_2$ 。

这里的“独立”只指共享线性层对各 token 行分别作用。它不等于整个 Transformer 都不混合 token；混合发生在 attention 的 $PV$ 阶段。

3. Q 的行乘 K 的列得到分数

单头 scaled dot-product attention 的分数是：

S=\frac{QK^T}{\sqrt{d_k}}.

元素为：

S_{ij}=\frac{q_i\cdot k_j}{\sqrt{d_k}}.

从 00:59 查看 attention 分数矩阵

从 01:09 查看与内积

$S$ 的行索引是 query token，列索引是被读取的 key token。

4. 因果掩码在 softmax 前加入

decoder 不能让位置 $i$ 读取未来位置 $j>i$ 。因此先加 mask：

\widetilde S_{ij}= \begin{cases} S_{ij},&j\le i,\\ -\infty,&j>i. \end{cases}

从 01:19 查看右上角因果掩码

QK 分数矩阵右上角加入负无穷因果掩码 — **图 3**
Q 与转置后的 K 形成分数矩阵，右上角因果掩码阻止当前位置读取未来 token。
原视频 · 01:20 ↗

再按行 softmax：

P_{i,:}=\operatorname{softmax}(\widetilde S_{i,:}).

理想数学表达中，被 $-\infty$ 掩蔽的位置概率为 $0$ ，且每个 query 行的可见权重和为 $1$ 。

5. 乘 V 才发生 token 间汇聚

attention 输出为：

Z=PV,

逐行展开：

z_i=\sum_{j\le i}P_{ij}v_j.

从 01:36 查看概率矩阵乘 V

从 01:40 查看第一行只能使用

每个 query 用一行 softmax 权重汇聚可见的 Value — **图 4**
按行 softmax 后的权重乘 V，得到每个 query 对历史 Value 的加权汇聚。
原视频 · 01:40 ↗

这一步与 QKV 投影不同：

QKV 投影只改变每行的特征坐标；
$PV$ 沿 token 轴把不同行的 Value 混合起来。

因果 mask 使第一行只能得到 $v_1$ ，第二行可以得到 $v_1$ 、 $v_2$ 的加权组合。

6. 输出投影与 FFN 再次逐 token 作用

多头输出拼接后经过：

O=ZW_O.

从 02:03 查看输出投影

$W_O$ 仍是对每个 token 行独立的共享线性映射。

简化 FFN 可写为：

H=\phi(OW_{up})W_{down}.

从 02:16 查看 FFN 升维

从 02:24 查看 FFN 降回模型维度

FFN 先升到中间维度，再投影回模型维度 — **图 5**
attention 输出经 W_O 后进入 FFN，先升到中间维度，再投影回模型维度。
原视频 · 02:20 ↗

真实 LLM 常使用 GELU、SiLU 或 SwiGLU，所以不能把两次线性层之间的非线性或门控永久省略。

FFN 不混合 token 行，但会在单个 token 内混合特征通道。

7. 下一层结构相同，参数不同

从 02:37 查看输出作为下一层输入

从 02:44 查看不同层的 QKV 权重

下一层重复同类拓扑，但使用自己的参数 — **图 6**
下一层重复同类拓扑，但拥有自己的一组 Q、K、V 与 FFN 参数。
原视频 · 02:40 ↗

若第 $\ell$ 层使用：

W_Q^{(\ell)},W_K^{(\ell)},W_V^{(\ell)},

第 $\ell+1$ 层通常使用另一组可训练参数：

W_Q^{(\ell+1)},W_K^{(\ell+1)},W_V^{(\ell+1)}.

它们常有相同 shape，但参数数值不同。

跟练与练习

跟练：给每一步标 shape

设：

T=4,\quad d=8,\quad d_k=4.

单头情况下：

X:4\times8, \quad W_Q:8\times4, \quad Q:4\times4,

QK^T:4\times4, \quad P:4\times4, \quad V:4\times4,

PV:4\times4.

若 $W_O:4\times8$ ，则输出重新变成 $4\times8$ ，可回到模型维度的残差流。

编者练习

有三个 token，因果 attention 的第二行概率为： $[0.25,0.75,0].$ 给定： $v_1=[1,2], \quad v_2=[3,0], \quad v_3=[9,9],$ 求第二个 query 的输出，并解释为什么 $v_3$ 不参与。

查看参考答案

$z_2 =0.25v_1+0.75v_2+0v_3 =[0.25,0.5]+[2.25,0] =[2.5,0.5].$
$v_3$ 对应未来位置，
其分数在 softmax 前被因果 mask 设为 $-\infty$ ，
所以概率为 $0$ 。

常见误区

误区 1：QKV 投影已经让 token 互相通信

它们是逐行共享投影； token 混合发生在 $PV$ 。

误区 2：先 softmax，再加因果 mask

mask 必须在 softmax 前加入分数，才能让未来位置概率归零并重新归一化。

误区 3：板书没有 $1/\sqrt{d_k}$ ，公式就不需要缩放

视频明确省略缩放细节；标准 scaled dot-product attention 仍需该项。

误区 4：FFN 就是两次纯线性变换

真实 FFN 中间有激活，现代 LLM 还常有门控分支。

误区 5：不同层同名权重就是同一参数

同名表示功能对应，不表示跨层共享数值。

误区 6：这张板书已经包含完整 block

多头、位置编码、Norm、残差、dropout 等均被省略。

本课小结

embedding 或上一层输出组成按 token 行排列的 $X$ 。
QKV、 $W_O$ 与 FFN 线性层对 token 行独立作用。
$QK^T$ 产生 query-key 分数，因果 mask 阻止读取未来位置。
行 softmax 把分数变成概率， $PV$ 才沿 token 轴汇聚信息。
FFN 在单 token 内升维、非线性变换并降回模型维度。
相邻层拓扑相似，但通常各自拥有独立参数。

02

主题讲解 · 02:58

Transformer 的四种分块矩阵乘法视角

学习目标

用统一 shape 记号理解 Transformer 中四种分块矩阵乘法视角。
区分 token 行分块、特征列分块、二维 tile 与收缩维分块。
把 QKV/FFN 投影、 $QK^T$ 、 $PV$ 映射到不同分块方式。
理解 FlashAttention 如何把标量解释推广到 tile。
从外积累加角度重写一般矩阵乘法。
避免把教学分类误认为唯一的数学或 kernel 分类标准。

前置与衔接

视频的结论是：

从 00:00 查看结论

一张板书并列四种 Transformer 分块矩阵乘法视角 — **图 1**
同一张板书并列 token-wise 投影、分数分块、Value 汇聚与外积累加四种视角。
原视频 · 00:00 ↗

“三种”或“四种”不是矩阵乘法的唯一分类定理，而是根据 Transformer 数据流挑出的四个有解释力的切面。

统一设：

X\in\mathbb R^{T\times d}, \quad W\in\mathbb R^{d\times h},

Q,K,V\in\mathbb R^{T\times d_h}, \quad P\in\mathbb R^{T\times T}.

矩阵乘法的核心仍然是收缩共享轴。 “按行”“按列”“按小块”只是选择如何观察或执行这次收缩。

核心讲解

1. 第零种：普通二维分块

从 00:17 查看第零种块乘块

把 $A$ 、 $B$ 、 $C=AB$ 都切成兼容的二维小块，有：

C_{ij}=\sum_k A_{ik}B_{kj}.

这是通用 block matrix multiplication 的定义。视频不把它计入后面三种，因为它对 Transformer 的具体语义帮助较少。

但工程 kernel 往往正是从这种二维 tiling 出发。

2. 第一种：行块乘共享矩阵

从 00:34 查看 token 级独立性

把输入按 token 行切分：

X= \begin{bmatrix} X_1\\X_2\\\vdots\\X_r \end{bmatrix}.

权重 $W$ 不沿 token 轴切分，则：

XW= \begin{bmatrix} X_1W\\X_2W\\\vdots\\X_rW \end{bmatrix}.

输入行块乘共享权重矩阵后仍输出对应行块 — **图 2**
输入按 token 行分块而权重不分块时，每个输入行独立映射到对应输出行。
原视频 · 00:40 ↗

每个 token 行块独立投影，不会在这次乘法中读写别的 token 行。

对应 Transformer 中的：

$XW_Q$ 、 $XW_K$ 、 $XW_V$ ；
attention 后的 $ZW_O$ ；
FFN 的 $XW_{up}$ 与 $HW_{down}$ 。

从 00:58 查看 QKV 投影

从 01:12 查看与 FFN

“token 独立”只描述这类线性投影，不描述 attention 的全部行为。

3. 第二种：Q 行块乘 K 的列块

attention 分数为：

S=QK^T.

若取 Q 的 query 行块 $Q_I$ ，再取 $K^T$ 的 key 列块 $K_J^T$ ，则：

S_{I,J}=Q_IK_J^T.

从 01:22 查看行块乘列块

Q 的行块乘 K 转置后的列块，得到 attention 分数 tile — **图 3**
Q 的行块乘 K 转置后的列块，产生 attention 分数中的一个标量或 tile。
原视频 · 01:40 ↗

如果 $I$ 、 $J$ 都只含一个 token，输出是标量：

s_{ij}=q_i\cdot k_j.

如果各包含多个 token，输出就是一个二维 score tile。

收缩轴是 head 特征维 $d_h$ ；输出保留 query 轴与 key 轴。

4. 第三种：概率 tile 乘 V 行块

attention 的第二次矩阵乘法是：

O=PV.

把 $P$ 按 query-key 二维 tile 划分，把 $V$ 按 key 行块划分：

O_I=\sum_J P_{I,J}V_J.

从 01:58 查看小块乘行块

概率 tile 乘 V 行块并沿 key 轴累加，得到输出行块 — **图 4**
概率矩阵的小块乘 V 的行块，并沿 key 方向累加，得到 query 行块的输出。
原视频 · 02:00 ↗

这里收缩的是 key 轴，输出保留 query 行块与 value 特征维。

单个 query 的写法是：

o_i=\sum_j p_{ij}v_j.

因为 softmax 权重非负且总和为一，它可解释为对 Value 的加权平均。

5. FlashAttention 把行列解释推广为 tile

从 01:45 查看 FlashAttention 的 score tile

从 02:24 查看的块化

FlashAttention 把标量级解释推广为 QKV tile 上的分块计算 — **图 5**
FlashAttention 把单行、单列的解释推广为 Q、K、V tile 上的分块计算。
原视频 · 02:20 ↗

朴素教学图常一次画一个 $q_i\cdot k_j$ ，但 GPU kernel 会一次处理多个 query 与 key。

FlashAttention 的关键不只是“做了分块”，而是在 tile 上在线维护 softmax 统计量与输出累积，避免物化完整 $T\times T$ attention 矩阵到高带宽显存。

具体 tile 尺寸、循环顺序与融合策略随实现和硬件而变。本课只建立块乘法语义，不把板书当作某个 kernel 的固定调度图。

6. 第四种：列块乘行块的外积累加

一般矩阵乘法：

C=AB,

还可以按收缩维 $k$ 展开：

C=\sum_{k=1}^{K}A_{:,k}B_{k,:}.

每一项：

A_{:,k}B_{k,:}

是一个列向量与行向量的外积，输出与 $C$ 同 shape。

从 02:30 查看列块乘行块

沿收缩维逐个做列向量与行向量外积，再累加成矩阵乘积 — **图 6**
按收缩维取一列与一行做外积，再把所得矩阵逐项累加，也能重建矩阵乘积。
原视频 · 02:40 ↗

视频在结尾把这一视角联系到 LLM.int8 与底层 GEMM 优化。这里应把它当作应用线索：

某些量化分解会把不同通道贡献拆开处理；
某些 GEMM 数据流会采用外积式累加。

不能仅凭这张板书断言所有 LLM.int8 或 GEMM kernel 都采用同一调度。

跟练与练习

跟练：写出三段 attention 的保留轴

对：

Q,K,V\in\mathbb R^{T\times d_h},

有：

$QK^T$ 收缩 $d_h$ ，保留 query 与 key 两个 token 轴；
softmax 不改变 shape；
$PV$ 收缩 key 轴，保留 query 轴与 value 特征轴。

因此：

(T\times d_h)(d_h\times T)=T\times T,

(T\times T)(T\times d_h)=T\times d_h.

编者练习

给定： $A= \begin{bmatrix} 1&2\\ 3&4 \end{bmatrix}, \qquad B= \begin{bmatrix} 5&6\\ 7&8 \end{bmatrix}.$ 用两个外积之和计算 $AB$ 。

查看参考答案

沿收缩维展开：
$AB= \begin{bmatrix}1\\3\end{bmatrix} \begin{bmatrix}5&6\end{bmatrix} + \begin{bmatrix}2\\4\end{bmatrix} \begin{bmatrix}7&8\end{bmatrix}.$
分别得到：
$\begin{bmatrix}5&6\\15&18\end{bmatrix} + \begin{bmatrix}14&16\\28&32\end{bmatrix} = \begin{bmatrix}19&22\\43&50\end{bmatrix}.$
这与普通行乘列计算完全一致。

常见误区

误区 1：四种分块会得到四种不同数学结果

它们是同一矩阵乘法的不同划分与累加顺序，精确算术下结果一致。

误区 2：行块乘共享权重也会混合 token

这一步只在特征轴收缩； token 混合发生在 attention 的 $PV$ 。

误区 3： $QK^T$ 的收缩轴是 token 轴

它收缩的是 head 特征轴， query 与 key token 轴保留为分数矩阵两维。

误区 4：FlashAttention 只是把图切小

它还需在线维护 softmax 与输出累积，以避免物化完整分数或概率矩阵。

误区 5：外积视角等于所有 kernel 的唯一实现

真实 kernel 可采用内积、外积或混合 tiling，并由硬件与调度共同决定。

本课小结

token-wise 线性层可看成行块乘共享矩阵。
$QK^T$ 可看成 query 行块乘 key 列块，得到 score tile。
$PV$ 可看成概率 tile 乘 Value 行块并沿 key 轴累加。
FlashAttention 把标量教学图推广到 tile，并在线维护 softmax 状态。
一般矩阵乘法也可写成列向量与行向量的外积之和。
“四种”是有助理解的视角集合，不是唯一分类标准。

03

主题讲解 · 02:58

教师强制训练：为什么只算分布而不生成 Token

学习目标

区分训练中的 logits/概率计算与推理中的 token 采样。
写出 teacher forcing 的输入右移、标签对齐和交叉熵。
解释因果 Transformer 为什么能并行计算所有训练位置。
理解后续位置看到的是 ground-truth 前缀，而不是模型采样结果。
把同一机制迁移到 SFT 与 decoder 式多模态 OCR。
识别 teacher forcing 与 exposure bias 的关系。

前置与衔接

视频用一个直观比喻概括 teacher forcing：

从 00:00 查看比喻与全课总览

训练计算各位置分布，但不在位置之间逐步采样 token — **图 1**
板书用‘只感觉、不生成’概括教师强制：训练计算各位置分布，但不逐步采样 token。
原视频 · 00:00 ↗

这里：

“感觉”指为词表中每个候选计算分数或概率；
“生成”指依据分布采样，或用 argmax/贪心解码选出具体 token。

更精确地说，神经网络最后一层先输出 logits：

z_t\in\mathbb R^{|V|}.

softmax 后才是概率：

p_t=\operatorname{softmax}(z_t).

训练实现通常直接把 logits 与标签交给 cross-entropy，内部使用稳定的 log-softmax，不必先显式保存概率向量。

核心讲解

1. 分布预测不等于选出 token

从 00:08 查看“感觉”的定义

从 00:21 查看“生成”的定义

“感觉”是预测分布，“生成”是采样或贪心选择具体 token — **图 2**
‘感觉’对应预测分布，‘生成’对应采样或贪心选择一个具体 token。
原视频 · 00:20 ↗

若某位置目标 token 是“雪”，模型可以给它概率 $0.7$ 。

训练损失已经可以据此计算：

\ell_t=-\log p_t(\text{雪}).

无需真的采样出“雪”再送入下一个训练位置。

推理不同：系统必须从分布中选择一个 token，把它追加到上下文，再运行下一次 decode。

2. Teacher forcing 的右移结构

设目标序列为：

y_1,y_2,\ldots,y_T.

训练输入右移一位：

[\mathrm{BOS},y_1,y_2,\ldots,y_{T-1}],

监督标签为：

[y_1,y_2,y_3,\ldots,y_T].

第 $t$ 个位置预测 $y_t$ 时，上下文中出现的是正确的：

y_{<t},

不是模型此前采样的：

\hat y_{<t}.

序列负对数似然为：

L=-\sum_{t=1}^{T}\log p_\theta(y_t\mid y_{<t},x),

其中 $x$ 可以是 prompt、图像 token 或其他条件前缀。

3. 因果掩码允许训练并行

从 00:53 查看训练时并行计算分布

因果掩码下，一次前向可并行计算所有目标位置的 logits — **图 3**
因果掩码下，训练可一次前向并行计算所有目标位置的 logits。
原视频 · 01:00 ↗

把整段右移后的输入一次送入 Transformer，模型可同时产生：

Z\in\mathbb R^{T\times |V|}.

这不违反自回归因果性，因为 causal mask 保证第 $t$ 行只读取位置 $\le t$ 。

并行的是不同位置的矩阵计算，不是让早期位置偷看未来目标。

推理时未来 token 尚不存在，因此必须逐步生成；训练时整个 ground-truth 序列已知，可以一次性构造所有右移输入。

4. SFT 中标签从答案右移而来

从 01:05 查看 SFT 场景

视频以“题目—思维过程—答案”的样本为例。回答部分是 ground truth，每个 token 都有对应的 next-token 标签。

从 01:35 查看并行生成各位置分布

SFT 用已知回答构造右移输入与下一 token 标签 — **图 4**
SFT 用已知回答作为右移标签，并在每个监督位置计算下一个 token 损失。
原视频 · 01:40 ↗

实践中可选择：

对 prompt 与回答所有 token 都计算 loss；
只对 assistant/回答区域计算 loss，prompt 标签设为 ignore。

无论采用哪种 loss mask，回答 token 仍以 ground-truth 前缀作为训练上下文。

5. 负对数似然直接惩罚目标 token

从 01:55 查看目标概率与损失

目标 token 概率对应负对数似然，实际交叉熵通常直接接收 logits — **图 5**
目标 token 概率越高，负对数似然越小；实际实现通常直接对 logits 做交叉熵。
原视频 · 02:00 ↗

若目标类别为 $c$ ，单位置损失为：

\ell_t =-\log\frac{e^{z_{t,c}}}{\sum_{v}e^{z_{t,v}}}.

不需要先把分布变成离散 token。

训练可对所有受监督位置的 loss 求和或平均，再一次反向传播。

从 02:04 查看预测下一位置时使用正确前缀

这使某一位置的错误概率不会通过“错误采样 token”级联污染后面的训练输入。但梯度仍会通过网络参数影响所有相关位置，不能把它理解成各位置训练完全无关。

6. 多模态 OCR 使用同一 teacher-forcing 逻辑

从 02:20 查看 decoder 式 OCR 场景

图像 token 与提示 token 构成条件前缀，文字标签仍按右移规则监督 — **图 6**
图像 token 与提示 token 作为前缀，文字 ground truth 仍按同一右移规则提供监督。
原视频 · 02:20 ↗

输入可以由：

[\text{image tokens},\text{prompt tokens},\text{text prefix}]

构成。

如果真实文字是 $y_1,y_2,y_3$ ，预测 $y_2$ 时模型看到正确的 $y_1$ ；不会在训练图中先采样 $\hat y_1$ ，再依赖它预测下一字。

从 02:43 查看每个文字 token 的分布

多模态只改变条件前缀的来源， next-token teacher forcing 的数学形式不变。

7. Teacher forcing 没有消除 exposure bias

训练优化的是：

p_\theta(y_t\mid y_{<t},x),

而推理实际遇到：

p_\theta(\hat y_t\mid \hat y_{<t},x).

如果早期生成错误，后续会处在训练中较少见的错误前缀上。这种训练—推理条件分布不一致就是 exposure bias 的来源之一。

因此“训练时不会一步错、步步错”只表示：同一个样本的一次 teacher-forced 前向不会把采样错误作为后续输入。它不保证推理阶段没有误差累积。

跟练与练习

跟练：手工右移

目标序列：

[\text{海},\text{安},\text{雨},\mathrm{EOS}].

训练输入是：

[\mathrm{BOS},\text{海},\text{安},\text{雨}],

标签是：

[\text{海},\text{安},\text{雨},\mathrm{EOS}].

预测“雨”的位置看到的是 ground-truth“海、安”，而不是模型前两步实际采样的结果。

编者练习

某位置的目标 token 概率是 $0.8$ ，另一位置是 $0.2$ 。分别计算负对数似然，并说明哪一个位置惩罚更大。

查看参考答案

采用自然对数：
$-\log0.8\approx0.223,$
$-\log0.2\approx1.609.$
目标概率越低，
负对数似然越大，
所以概率 $0.2$ 的位置受到更大惩罚。
这个计算只需要目标类别的对数概率，
不需要先采样一个 token。

常见误区

误区 1：模型最后一层直接输出概率

它通常输出 logits； softmax 或交叉熵内部再完成归一化。

误区 2：训练也要逐 token 采样

完整 ground truth 已知，因果 mask 允许一次前向并行计算所有位置。

误区 3：并行计算意味着看到未来标签

矩阵计算并行不改变 causal mask 的可见范围。

误区 4：后续位置使用模型上一步预测

标准 teacher forcing 使用右移后的 ground-truth token。

误区 5：Teacher forcing 彻底解决误差累积

它避免训练前向中的采样级联，但训练—推理前缀不一致仍会产生 exposure bias。

误区 6：SFT 必须对 prompt 全部计算 loss

是否监督 prompt 取决于 label mask；许多实现只监督 assistant 回答区域。

本课小结

“只感觉”是计算 logits/分布，“不生成”是不在训练位置之间采样 token。
Teacher forcing 把 ground-truth 序列右移后作为输入，原序列作为标签。
因果 mask 让所有训练位置可并行计算，同时保持自回归可见性。
交叉熵可直接从 logits 与标签计算，不需要离散解码。
SFT 与 decoder 式 OCR 都可使用同一 teacher-forcing 结构。
Teacher forcing 不会消除推理阶段的 exposure bias。

04

主题讲解 · 01:53

Attention 是加权平均：Softmax 权重如何汇聚 Value

学习目标

区分普通平均、加权平均与一般加权和。
写出单个 query 对 Value 向量的 attention 汇聚公式。
解释 softmax 为什么让每行权重非负且总和为一。
理解较大缩放点积如何在同一行中对应较大 attention 权重。
明确“attention 是加权平均”只适用于 $PV$ 阶段的边界。
用凸组合视角检查结果范围与 shape。

前置与衔接

本课从日常成绩平均出发，把 attention 的核心汇聚写成：

o_i=\sum_j p_{ij}v_j.

从 00:00 查看全课板书

**图 1**
板书把普通平均、加权平均与 decoder attention 放在同一张图中比较。
原视频 · 00:00 ↗

这里：

$i$ 是 query 位置；
$j$ 是被读取的 key/value 位置；
$p_{ij}$ 是标量权重；
$v_j$ 是同一 head 中的 Value 向量。

如果：

p_{ij}\ge0, \qquad \sum_jp_{ij}=1,

那么 $o_i$ 是 Value 向量的加权平均，也就是凸组合。

核心讲解

1. 普通平均给所有项相同权重

从 00:05 查看普通平均

三个数 $x_1,x_2,x_3$ 的算术平均是：

\bar x=\frac{x_1+x_2+x_3}{3} =\frac13x_1+\frac13x_2+\frac13x_3.

普通平均其实也是加权平均，只是每一项权重恰好相同。

2. 加权平均按重要性分配权重

若三门课学分不同，可以先把学分归一化：

w_i=\frac{c_i}{\sum_jc_j}.

再计算：

\bar x_w=\sum_iw_ix_i.

从 00:13 查看加权平均

加权平均把重要性归一化为非负且总和为一的权重 — **图 2**
加权平均先把重要性归一化，使非负权重总和为一。
原视频 · 00:20 ↗

“平均”要求结果仍处在输入项的凸包内。标量情况下有：

\min_i x_i\le\bar x_w\le\max_i x_i.

3. 加权和不要求系数总和为一

从 00:26 查看加权和

强化学习回报常写成：

G_t=r_{t+1}+\gamma r_{t+2}+\gamma^2r_{t+3}+\cdots.

这些系数通常不归一化到总和为一，因此更准确地称为加权和。

从 00:35 查看权重和不为一的边界

**图 3**
若系数不要求总和为一，更准确的名称是加权和，而不是加权平均。
原视频 · 00:40 ↗

加权平均是加权和的特殊情况：

\text{加权平均} = \text{非负且归一化的加权和}.

4. Attention 权重来自缩放点积

单头 attention 先计算：

s_{ij}=\frac{q_i\cdot k_j}{\sqrt{d_k}}.

decoder 中还要加因果 mask：

\widetilde s_{ij}= \begin{cases} s_{ij},&j\le i,\\ -\infty,&j>i. \end{cases}

从 01:02 查看 decoder attention

每个 query 与可见 key 的缩放点积组成一行分数 — **图 4**
每个 query 与可见 key 的缩放点积形成一行分数，因果掩码排除未来位置。
原视频 · 01:00 ↗

分数本身可以为负，也不要求和为一。此时还只能称为相关性 logits，不能称为平均权重。

5. Softmax 把一行分数归一化

对固定 query $i$ ：

p_{ij} = \frac{e^{\widetilde s_{ij}}} {\sum_{k}e^{\widetilde s_{ik}}}.

因此：

p_{ij}\ge0, \qquad \sum_jp_{ij}=1.

从 01:24 查看 softmax 保证权重和为一

Softmax 把每个 query 的分数变成非负且和为一的一行权重 — **图 5**
softmax 把每个 query 的可见分数变成非负且和为一的一行权重。
原视频 · 01:20 ↗

mask 为 $-\infty$ 的项满足：

e^{-\infty}=0,

所以未来位置不会参与加权平均。

6. 概率乘 Value 得到凸组合

把所有 query 一起写成矩阵：

P=\operatorname{softmax} \left( \frac{QK^T}{\sqrt{d_k}}+M \right),

O=PV.

第 $i$ 行为：

o_i=p_{i1}v_1+p_{i2}v_2+\cdots+p_{iT}v_T.

从 01:07 查看 attention 权重乘 V

每行概率乘同形状 Value 向量并求和，得到该 query 的上下文表示 — **图 6**
每行权重乘同形状 Value 向量并求和，得到该 query 的上下文表示。
原视频 · 01:40 ↗

所有 $v_j$ 必须有相同的 Value 维度，才能逐元素相加。

若某行权重为：

[0.2,0.8,0],

则：

o_i=0.2v_1+0.8v_2.

7. 为什么某个权重更大

从 01:30 查看较大的 attention 权重

从 01:38 查看

在同一个 query 行、mask 状态相同且其他 logit 固定时，若：

s_{i2}>s_{i1},

则 softmax 单调性保证：

p_{i2}>p_{i1}.

可以直观说 query 更偏向读取第二个 Value。

但“点积更大”是模型学到的表示空间关系，不保证每个 head、每层都能被人类直接解释成某种确定语义。

8. “Transformer 是加权平均”有边界

严格来说，每个 attention head 的 $PV$ 阶段是 Value 的凸组合。

但随后还有输出投影：

Y=OW_O,

以及残差、Norm、FFN。

$W_O$ 是一般线性变换，结果不必仍处在原始 Value 向量的凸包中。

多头 attention 还会在不同子空间各自做加权平均，再拼接并投影。

因此准确表述是：

跟练与练习

跟练：判断是不是加权平均

对三个向量 $v_1,v_2,v_3$ ：

$0.2v_1+0.8v_2+0v_3$ ：是加权平均。
$v_1+v_2$ ：通常只是加权和，因为权重和为 $2$ 。
$-0.2v_1+1.2v_2$ ：权重和虽为 $1$ ，但有负权重，不是凸组合。
softmax 输出乘 $V$ ：是加权平均。

编者练习

给定： $v_1=[0,2], \quad v_2=[4,0], \quad p=[0.25,0.75].$ 求 attention 输出，并检查每个坐标是否位于两个 Value 对应坐标的最小值与最大值之间。

查看参考答案

$o=0.25v_1+0.75v_2 =[0,0.5]+[3,0] =[3,0.5].$
第一坐标位于 $[0,4]$ ，
第二坐标位于 $[0,2]$ 。
因为权重非负且总和为一，
$o$ 位于 $v_1$ 与 $v_2$ 连线段上。

常见误区

误区 1：任意加权和都叫加权平均

加权平均还要求非负权重归一化到和为一。

误区 2： $QK^T$ 的分数本身就是概率

分数可为任意实数，需要经过 mask 与行 softmax 才成为权重。

误区 3：Softmax 对整个矩阵一起归一化

标准 attention 对每个 query 行分别归一化。

误区 4：权重更大一定代表人类可解释的语义关系

它只严格表示该 head、该层、该上下文中的归一化读取强度更大。

误区 5：整个 Transformer 输出都在 Value 凸包内

$PV$ 是凸组合，但 $W_O$ 、残差与 FFN 会继续变换表示。

误区 6：多头 attention 只做一次统一平均

每个 head 在自己的 Value 子空间使用自己的权重，然后再拼接与投影。

本课小结

普通平均是等权的加权平均。
加权平均要求权重非负且总和为一；一般加权和不要求归一化。
Attention 先用缩放点积和 mask 产生 logits，再按 query 行做 softmax。
$o_i=\sum_jp_{ij}v_j$ 是 Value 向量的凸组合。
在同一行其他条件固定时，更大的点积对应更大的 softmax 权重。
“加权平均”精确描述 $PV$ 阶段，不等于整个 Transformer 只是平均器。

05

主题讲解 · 03:04

Teacher Forcing 的三条依赖：Token、分布与下一位置

学习目标

区分训练前向、推理 prefill 与自回归 decode。
判断“上一个 token”究竟是真值 token、采样 token 还是预测分布。
解释 teacher forcing 为什么能让多个位置并行预测。
从计算图角度说明前一位置的 logits 不直接输入下一位置。
理解“不直接影响”不等于参数、激活与梯度完全独立。
用输入张量与标签右移关系检查自己的推理。

前置与衔接

本课讨论三个表面相似、实际不同的命题：

推理时，上一步选出的 token 直接影响下一步预测。
训练时，上一个 ground-truth token 直接影响下一位置预测。
训练时，上一个位置预测出的概率分布直接影响下一位置预测。

从 00:00 查看三个命题

**图 1**
板书用三个命题区分推理 token、训练真值 token 与训练预测分布的依赖关系。
原视频 · 00:00 ↗

结论是前两个成立，第三个不成立。

但要先固定“直接影响”的含义：

这个定义不会否认多个位置共享模型参数，也不会否认损失会共同更新这些参数。

核心讲解

1. 推理 decode：选出的 token 成为下一步输入

自回归生成第 $t$ 个 token 时，模型计算：

p(x_t\mid x_{<t}).

采样或取最大概率得到 $\hat x_t$ 后，把它追加到上下文：

x_{<t+1}=[x_{<t},\hat x_t].

从 00:40 查看推理依赖

**图 2**
自回归 decode 把刚选出的 token 追加到上下文，下一步直接以它为输入。
原视频 · 00:40 ↗

于是下一步分布为：

p(x_{t+1}\mid x_{<t},\hat x_t).

这里真正进入下一步的是离散 token 的 id，再经过 embedding lookup 变成向量。

通常并不是把上一时刻完整的词表概率向量直接送回模型。

2. 训练 teacher forcing：喂入固定真值序列

训练样本已经给出完整序列：

y_0,y_1,\ldots,y_T.

teacher forcing 使用真值前缀预测下一个真值：

p_\theta(y_t\mid y_{<t}).

从 01:27 查看第二个命题

Teacher forcing 在训练时喂入固定的 ground-truth token，而不是上一步采样结果 — **图 3**
teacher forcing 在训练时喂入固定的 ground-truth token，而不是上一步采样结果。
原视频 · 01:20 ↗

例如输入中已有“海”，对应位置的隐藏状态可用于预测下一个真值“安”。

从 01:43 查看相邻真值例子

训练样本中的前一真值 token 通过因果上下文参与下一位置预测 — **图 4**
训练样本中的前一真值 token 通过因果上下文参与下一位置的预测。
原视频 · 01:40 ↗

因此第二个命题成立：

3. 因果掩码只允许读取当前位置及以前

对序列位置 $i$ 和被读取位置 $j$ ，因果 mask 可写为：

M_{ij}= \begin{cases} 0,&j\le i,\\ -\infty,&j>i. \end{cases}

attention 权重为：

P=\operatorname{softmax} \left( \frac{QK^T}{\sqrt{d_k}}+M \right).

位置 $i$ 只能读取输入表示的前缀，不会偷看未来 ground-truth token。

这使并行计算满足自回归条件，而不是把任务改成双向补全。

4. 前一位置的预测分布没有直接回边

最后一层隐藏状态 $h_i$ 投影到词表 logits：

z_i=h_iW_{\text{vocab}}+b.

再得到：

p_i=\operatorname{softmax}(z_i).

在标准 teacher-forced 前向中，下一位置 $h_{i+1}$ 的输入来自固定 token embedding 与前层表示，不是 $p_i$ 。

从 01:54 查看第三个命题

同一次训练前向中，前一位置输出的概率分布不作为下一位置输入 — **图 5**
同一次训练前向中，前一位置输出的概率分布不作为下一位置的输入。
原视频 · 02:00 ↗

即便把 $p_i$ 人为改成另一组数，只要不改输入 token、参数和此前激活，同一次前向里的 $h_{i+1}$ 不会因此变化。

所以第三个命题不成立。

5. 为什么所有位置仍能同时预测

训练输入是预先给定的完整真值序列。

每个位置读取各自允许的真值前缀，所有位置的 Q、K、V 与 logits 可以合并成矩阵运算。

从 02:20 查看 teacher forcing 与掩码

**图 6**
固定真值序列配合因果掩码，让各位置的 next-token logits 可以并行计算。
原视频 · 02:40 ↗

若输入为：

[\text{BOS},y_1,y_2,y_3],

标签可右移为：

[y_1,y_2,y_3,\text{EOS}].

每行 loss 为：

\ell_i=-\log p_\theta(y_{i+1}\mid y_{\le i}).

总损失通常对有效位置求和或平均。

6. “训练前向近似 prefill”只是结构类比

从 00:18 查看 prefill 与 decode

训练前向与推理 prefill 都会：

一次接收多 token 序列；
用因果 mask 计算多行隐藏状态；
主要使用矩阵—矩阵乘法。

但二者并不相等。

训练还有：

标签与交叉熵；
反向传播与优化器更新；
可能开启 dropout；
通常保留反向所需激活。

推理 prefill 则建立 KV Cache，随后进入逐 token decode，且不计算训练梯度。

因此应说“前向计算形态相似”，不能说训练就是 prefill。

7. 不直接输入，不代表完全没有耦合

多个位置使用同一个参数集合 $\theta$ 。

总损失：

L=\sum_i\ell_i

产生：

\nabla_\theta L=\sum_i\nabla_\theta\ell_i.

一次参数更新会改变下一训练步所有位置的预测。

此外，位置 $i+1$ 的隐藏状态会通过 attention 读取位置 $i$ 的前层表示。

准确边界是：

会读取前缀 token 对应的隐藏表示；
不读取前一位置最终输出的词表概率向量；
各位置的 loss 通过共享参数共同作用于后续训练步。

跟练与练习

跟练：给计算图中的箭头分类

判断下列箭头是否存在于标准训练前向：

$y_i\rightarrow h_{i+1}$ ：存在，经 embedding 与 causal attention 间接作用。
$p_i\rightarrow h_{i+1}$ ：不存在，不把上一位置概率分布回灌。
$\ell_i\rightarrow\nabla_\theta L$ ：存在，经反向传播累加到共享参数梯度。
$\hat y_i\rightarrow$ 下一步 decode 输入：推理时存在。

编者练习

设训练输入为： $[\text{BOS},A,B],$ 标签为： $[A,B,\text{EOS}].$ 问题：预测 $B$ 的位置以什么为输入前缀？如果该位置之前用于预测 $A$ 的概率分布从 $[0.9,0.1]$ 改成 $[0.1,0.9]$ ，但输入 token 与参数均不变，预测 $B$ 的 logits 会不会在同一次前向中改变？

查看参考答案

预测 $B$ 的位置读取真值前缀：
$[\text{BOS},A].$
标准 teacher forcing 不把前一位置的预测分布作为输入。
因此只改那组输出分布、且不改输入、参数与上游激活时，
预测 $B$ 的 logits 不会在同一次前向中改变。
不过训练 loss 和参数更新可能改变下一次前向，
这属于跨训练步的共享参数影响。

常见误区

误区 1：Teacher forcing 使用模型上一步采样结果

标准 teacher forcing 使用 ground-truth token；使用模型采样结果属于另一种训练策略。

误区 2：训练并行意味着可以看见未来 token

并行是硬件计算方式，因果 mask 仍约束每个位置的信息范围。

误区 3：上一个预测 token 与上一个预测分布是一回事

decode 通常反馈选出的离散 token，不是完整词表概率向量。

误区 4：没有直接概率回边，所以各位置完全独立

它们共享参数，并通过 causal attention 读取此前隐藏表示。

误区 5：训练前向等同于推理 prefill

二者有相似的并行形态，但训练包含损失、反向与优化，推理 prefill 建立 KV Cache。

误区 6：Teacher forcing 消除了训练—推理差异

训练看到真值前缀，生成时看到模型自己产生的前缀，仍可能产生 exposure bias。

本课小结

推理 decode 中，刚选出的 token 会成为下一步输入。
训练 teacher forcing 中，下一位置以 ground-truth 前缀为条件。
前一位置的词表 logits 或概率分布不直接输入下一位置。
固定真值序列加因果 mask，使多位置 next-token logits 可以并行计算。
“训练前向近似 prefill”只描述部分计算形态，不代表完整流程相同。
“没有直接概率回边”不等于没有 attention、共享参数或梯度耦合。

06

主题讲解 · 02:43

训练并行预测 Token：因果掩码与 Prefill 类比

学习目标

解释训练时为何能同时得到多个位置的 next-token logits。
理解 teacher forcing 与因果 mask 分别解决什么问题。
用 $T\times d$ 激活矩阵描述逐层并行计算。
区分训练前向、推理 prefill 与带 KV Cache 的 decode。
说明标签右移与有效监督位置数量的关系。
避免把“同时预测”误解成位置之间可以偷看未来。

前置与衔接

自回归分解写成：

p(x_{1:T}) = \prod_{t=1}^{T}p(x_t\mid x_{<t}).

这个公式有顺序，但训练每个条件分布时，前缀已经来自固定真值序列。

因此多个位置的条件分布可以放入一次张量前向中计算。

从 00:00 查看训练与 decode 对照

**图 1**
板书并列训练整序列并行与推理 decode 逐 token 增长两条路径。
原视频 · 00:00 ↗

本课的核心不是取消自回归约束，而是把多个受约束的位置批量计算。

核心讲解

1. Teacher forcing 固定了所有训练输入

给定真值序列：

[x_0,x_1,x_2,x_3,x_4],

每个位置都使用真值前缀：

p(x_1\mid x_0), \quad p(x_2\mid x_{0:1}), \quad\ldots

从 00:18 查看 teacher forcing

输入 token 在前向开始前已经确定，不需要等待前一个位置采样完成。

这提供了并行计算的第一个条件。

2. 因果掩码为每一行规定可见前缀

attention logits 为：

S=\frac{QK^T}{\sqrt{d_k}}+M.

其中：

M_{ij}= \begin{cases} 0,&j\le i,\\ -\infty,&j>i. \end{cases}

softmax 后，未来位置权重为零。

于是第 $i$ 行虽然与其他行同时计算，却只依赖 $x_{\le i}$ 。

并行与因果性并不冲突：

并行描述计算调度；
mask 描述信息依赖。

3. 每层处理整张 token-by-hidden 激活平面

若序列长度为 $T$ ，隐藏维为 $d$ ，一层输入可写为：

X^{(\ell)}\in\mathbb{R}^{T\times d}.

从 00:45 查看五个 token 的激活

**图 2**
已知训练序列中的每个 token 都对应一行隐藏表示。
原视频 · 00:40 ↗

线性投影一次作用于所有行：

Q=XW_Q, \qquad K=XW_K, \qquad V=XW_V.

矩阵乘法会同时生成所有 token 行的 Q、K、V。

从 01:00 查看整张激活平面

同一层同时更新整张 token-by-hidden 激活平面，因果掩码阻断未来信息 — **图 3**
同一层可同时更新整张 token-by-hidden 的激活平面，因果掩码负责阻断未来信息。
原视频 · 01:00 ↗

后续 attention、输出投影与 FFN 也都可以对多行批量执行。

4. 最后一层同时投影到多个词表分布

最后一层隐藏矩阵为：

H\in\mathbb{R}^{T\times d}.

词表投影得到：

Z=HW_U+b, \qquad Z\in\mathbb{R}^{T\times V}.

每一行 $Z_i$ 都是一个位置的 next-token logits。

从 01:20 查看词表投影

从 01:47 查看同时预测

**图 4**
最后一层各位置同时投影到词表 logits，再与右移标签计算损失。
原视频 · 01:40 ↗

交叉熵可写为：

L = -\sum_{i\in\mathcal V_{\text{valid}}} \log\operatorname{softmax}(Z_i)_{y_{i+1}}.

$\mathcal V_{\text{valid}}$ 表示没有被 padding 或 label mask 排除的位置。

5. 为什么五个 token 常得到四个监督对

若完整片段为：

[x_0,x_1,x_2,x_3,x_4],

采用常见切片：

X=\text{tokens}[:-1],

Y=\text{tokens}[1:],

就得到四个 input-target 对：

x_0\to x_1, \ x_1\to x_2, \ x_2\to x_3, \ x_3\to x_4.

从 01:26 查看移除末尾后的四个预测

但“四个”不是架构常数。

若数据管线显式加入 BOS、EOS，或提供比输入多一个 token 的目标，有效监督位置会随切片和 label mask 改变。

不变量是：

6. 训练前向与 inference prefill 的相似处

从 00:27 查看结构类比

**图 5**
训练前向与 inference prefill 都能对已知序列的多行表示做并行计算。
原视频 · 00:20 ↗

相似处包括：

一次输入多 token；
多个位置通过 GEMM 并行计算；
decoder-only 模型都使用因果 mask；
每层都生成整段前缀的隐藏表示。

所以教学中常用：

\text{training forward} \approx \text{inference prefill}

作为计算形态类比。

7. 训练前向并不等于 inference prefill

训练需要：

构造 labels；
计算所有有效位置的 loss；
保存反向所需中间激活；
反向传播并更新参数；
可能使用 dropout。

推理 prefill 通常需要：

构建各层 KV Cache；
只取所需位置的 logits；
不保留训练反向图；
随后切换到 decode。

因此“近似”不能删掉。

8. Decode 为什么仍要逐 token

生成未来 token 时，真实的 $x_t$ 尚不存在。

必须先从：

p(x_t\mid x_{<t})

选出 $x_t$ ，才能计算：

p(x_{t+1}\mid x_{\le t}).

从 02:14 查看 decode 差异

**图 6**
带 KV Cache 的 decode 每步只新增并计算当前 token 的一行表示。
原视频 · 02:20 ↗

KV Cache 保存此前 token 的 K/V，每步只为新 token 计算一行新的 Q/K/V。

这降低重复计算，但不能消除 token 之间的自回归时序依赖。

跟练与练习

跟练：写出张量 shape

设：

B=8, \quad T=512, \quad d=1024, \quad V=32000.

则：

隐藏状态 $H$ ： $[8,512,1024]$ ；
词表权重 $W_U$ ： $[1024,32000]$ ；
logits $Z$ ： $[8,512,32000]$ ；
labels 通常为 $[8,512]$ ，其中无效位置可用 ignore index 屏蔽。

编者练习

训练片段为： $[\text{BOS},A,B,C,\text{EOS}].$ 采用 tokens[:-1] 作为输入、tokens[1:] 作为标签。

写出四个 input-target 对。
预测 $C$ 的位置能否读取 EOS 的 embedding？
为什么四个位置可以在一次矩阵前向中计算？

查看参考答案

四个监督对为：
$\text{BOS}\to A, \quad A\to B, \quad B\to C, \quad C\to\text{EOS}.$
预测 $C$ 的位置只允许读取：
$[\text{BOS},A,B],$
不能读取未来的 EOS embedding。
输入序列在训练前已经由真值固定，
因果 mask 又为每行屏蔽未来位置，
所以四行可以合并进一次矩阵计算而不发生标签泄漏。

常见误区

误区 1：同时预测等于所有位置彼此可见

每行同时计算，但因果 mask 仍使第 $i$ 行只能看见 $j\le i$ 。

误区 2：训练按位置逐个执行 softmax

数学上是逐行 softmax，实现上可在一个批量张量算子中同时完成。

误区 3：五个 token 永远只产生四个 loss

这取决于序列切片、BOS/EOS、padding 与 label mask 约定。

误区 4：训练前向就是 inference prefill

两者前向形态相似，但目标、缓存、梯度与运行模式不同。

误区 5：KV Cache 能让未来所有 token 并行生成

KV Cache 减少历史 K/V 的重复计算，不能提前知道尚未采样出的 token。

误区 6：训练并行改变了自回归概率分解

概率分解没有改变，只是用固定真值前缀同时估计多个条件分布。

本课小结

Teacher forcing 让训练输入在前向开始前全部已知。
因果 mask 让每行只读取合法前缀，因此并行计算不会泄漏未来。
每层可处理完整的 $T\times d$ 激活矩阵，最终一次得到 $T\times V$ logits。
标签相对输入右移一位，有效位置数量由具体切片和 mask 约定决定。
训练前向与推理 prefill 只有计算形态上的类比关系。
Decode 必须等待新 token 被选出；KV Cache 只避免重算历史 K/V。

07

主题讲解 · 01:07

一张图读懂 Transformer：Attention、FFN 与三组边界

学习目标

从 $QK^T$ 、softmax、 $V$ 汇聚与 FFN 串起最小 Transformer 骨架。
说清 attention 分数矩阵的行、列与 shape。
区分自注意力和交叉注意力的 Q/K/V 来源。
理解标准 BERT 与 GPT 自注意力的 mask 差异。
说明不同层为何默认拥有不同投影参数与 Q/K/V 数值。
识别简图主动省略的多头、缩放、残差与 Norm。

前置与衔接

视频试图用一张板书保留 Transformer 的最小主干：

X \rightarrow Q,K,V \rightarrow \text{Attention} \rightarrow O \rightarrow \text{FFN}.

从 00:00 查看全课总图

**图 1**
一张总图串起 Q、K、V、attention 输出与 FFN 的最小 Transformer 骨架。
原视频 · 00:00 ↗

这张图适合建立空间直觉，但简化图不能替代完整公式。

本课会在保留主线的同时，补齐缩放、softmax、mask、残差与架构边界。

核心讲解

1. 输入首先投影成 Q、K、V

设：

X\in\mathbb{R}^{T\times d_{\text{model}}}.

单个 attention head 使用：

Q=XW_Q, \quad K=XW_K, \quad V=XW_V.

若 head 维度为 $d_h$ ，则：

Q,K,V\in\mathbb{R}^{T\times d_h}.

矩阵的每一行对应一个 token 位置。

2. Q 的行乘 K 的列形成分数矩阵

从 00:16 查看 Q 与转置 K

**图 2**
Q 的每一行与转置后的 K 各列做点积，形成 token-to-token 分数矩阵。
原视频 · 00:20 ↗

因为：

Q\in\mathbb{R}^{T_q\times d_h}, \qquad K^T\in\mathbb{R}^{d_h\times T_k},

所以：

QK^T\in\mathbb{R}^{T_q\times T_k}.

第 $(i,j)$ 项是：

s_{ij}=q_i\cdot k_j.

其语义是：第 $i$ 个 query 对第 $j$ 个 key 的未归一化匹配分数。

完整缩放点积公式还要除以：

\sqrt{d_h},

避免维度较大时点积方差过大、softmax 过早饱和。

3. Mask 与 softmax 把分数变成权重

完整权重矩阵为：

P=\operatorname{softmax}_{\text{row}} \left( \frac{QK^T}{\sqrt{d_h}}+M \right).

softmax 按 query 行归一化，因此：

P_{ij}\ge0, \qquad \sum_jP_{ij}=1.

简图若只画 $QK^T$ 后直接乘 $V$ ，应把 mask 和 softmax 理解为被省略的中间步骤，不能真的跳过。

4. 权重乘 V 得到每个 query 的上下文

attention 输出为：

O=PV.

shape 为：

[T_q,T_k] \times [T_k,d_h] \rightarrow [T_q,d_h].

第 $i$ 行：

o_i=\sum_jP_{ij}v_j.

从 00:27 查看 Value 汇聚

**图 3**
归一化权重汇聚 V 得到 O，随后 FFN 在隐藏维上先扩张再收缩。
原视频 · 00:30 ↗

每个 query 用自己的一行权重，读取所有允许位置的 Value。

5. FFN 对每个 token 独立变换隐藏维

典型 FFN 写成：

\operatorname{FFN}(x) = W_2\,\sigma(W_1x+b_1)+b_2.

通常：

d_{\text{model}} \rightarrow d_{\text{ff}} \rightarrow d_{\text{model}},

且 $d_{\text{ff}}>d_{\text{model}}$ 。

“先扩张再收缩”发生在特征维，不会混合不同 token 行。

token 之间的信息混合主要发生在 attention，逐 token 非线性变换发生在 FFN。

6. 完整 block 还有残差、Norm 与输出投影

多头 attention 会为每个 head 独立计算：

O_h=P_hV_h,

拼接后再做：

O_{\text{mha}} = \operatorname{Concat}(O_1,\ldots,O_H)W_O.

实际 block 还包含：

attention 子层的残差连接；
FFN 子层的残差连接；
LayerNorm 或 RMSNorm；
dropout 等训练组件。

Pre-Norm 与 Post-Norm 的排列也不同。

所以总图是“计算骨架”，不是任何具体模型的逐算子复刻。

7. 标准 BERT 与 GPT 的 mask 差异

从 00:42 查看 BERT 与 GPT

**图 4**
标准 BERT 自注意力双向可见，而自回归 GPT 使用因果掩码屏蔽未来位置。
原视频 · 00:40 ↗

标准 BERT encoder 的 self-attention 通常双向可见：

M_{ij}=0

对所有非 padding 位置成立。

GPT decoder-only self-attention 使用因果 mask：

M_{ij}=-\infty, \qquad j>i.

这使 GPT 可按 next-token 目标自回归生成。

但不能据此断言 encoder 与 decoder “只有 mask 不同”。

在经典 encoder-decoder Transformer 中， decoder block 还包含读取 encoder memory 的 cross-attention。

8. Self-attention 与 cross-attention 看数据来源

从 00:49 查看两类 attention

**图 5**
自注意力的 Q、K、V 来自同一表示流；交叉注意力的 Q 与 K/V 来自不同表示流。
原视频 · 00:50 ↗

Self-attention：

Q=XW_Q, \quad K=XW_K, \quad V=XW_V.

三者来自同一表示序列 $X$ 。

Cross-attention：

Q=YW_Q, \quad K=XW_K, \quad V=XW_V.

其中 $Y$ 是 decoder 查询流， $X$ 是 encoder memory。

判别关键不是 shape 是否相同，而是 Q 与 K/V 是否来自不同表示流。

9. 不同层的参数和数值默认都不同

从 00:57 查看逐层 Q/K/V

**图 6**
不同层默认拥有各自的 Q/K/V 投影参数，输入改变也使逐层 Q/K/V 数值不同。
原视频 · 01:00 ↗

第 $\ell$ 层有：

Q^{(\ell)} = X^{(\ell)}W_Q^{(\ell)}.

下一层：

Q^{(\ell+1)} = X^{(\ell+1)}W_Q^{(\ell+1)}.

通常同时满足：

$W_Q^{(\ell)}\ne W_Q^{(\ell+1)}$ ，参数不共享；
$X^{(\ell)}\ne X^{(\ell+1)}$ ，输入表示已更新。

任一条件都足以让逐层 Q 数值改变。

若某个特殊模型显式做跨层参数共享，也必须另看输入表示是否相同，不能仅凭共享权重断言 Q/K/V 相同。

跟练与练习

跟练：用 shape 检查 attention

设：

T_q=3, \quad T_k=5, \quad d_h=4.

则：

Q:[3,4], \quad K:[5,4], \quad V:[5,4].

因此：

QK^T:[3,5], \quad PV:[3,4].

这也是 cross-attention 中查询长度与 memory 长度不同的合法情形。

编者练习

decoder cross-attention 的输入为： $Y\in\mathbb{R}^{4\times512}, \qquad X\in\mathbb{R}^{7\times512},$ 单头维度 $d_h=64$ 。写出 Q、K、V、分数矩阵与输出 O 的 shape，并判断它是不是 self-attention。

查看参考答案

$Q=YW_Q\in\mathbb{R}^{4\times64},$
$K=XW_K\in\mathbb{R}^{7\times64}, \qquad V=XW_V\in\mathbb{R}^{7\times64}.$
因此：
$QK^T\in\mathbb{R}^{4\times7},$
$O=\operatorname{softmax}(QK^T/8)V \in\mathbb{R}^{4\times64}.$
Q 来自 $Y$ ，K/V 来自 $X$ ，
所以这是 cross-attention，不是 self-attention。

常见误区

误区 1： $QK^T$ 可以直接乘 V

标准 attention 还需要缩放、mask 与行 softmax。

误区 2：分数矩阵每一列对应一个 query

通常每一行对应 query，每一列对应 key。

误区 3：FFN 在 token 维混合信息

FFN 对每个 token 独立复用同一组参数，主要改变特征维表示。

误区 4：BERT 和 GPT 只差一个 mask

简化 self-attention 骨架可这样突出可见性，完整模型还可能在目标、位置编码、Norm、激活等方面不同。

误区 5：decoder 一定只有 masked self-attention

decoder-only 模型如此；经典 encoder-decoder 的 decoder 还有 cross-attention。

误区 6：所有层共用一套 Q/K/V

标准 Transformer 各层默认拥有独立投影参数，逐层输入表示也在变化。

本课小结

最小主干是 Q/K/V 投影、缩放点积分数、mask、行 softmax、Value 汇聚与 FFN。
$QK^T$ 的行是 query、列是 key，输出 shape 为 $T_q\times T_k$ 。
FFN 在每个 token 的特征维上先扩张再收缩，不负责 token 间混合。
标准 BERT self-attention 双向可见，GPT 使用因果 mask，但完整架构差异不止 mask。
Self-attention 的 Q/K/V 来自同一表示流；cross-attention 的 Q 与 K/V 来自不同流。
不同层默认参数独立，输入也不同，因此逐层 Q/K/V 数值会改变。

08

主题讲解 · 02:11

Bigram 语言模型：一个 V×V 矩阵如何预测下一个 Token

学习目标

理解最简 bigram 语言模型为何可用一个 embedding 层实现。
说明参数矩阵 $V\times V$ 的行列语义。
区分 embedding lookup、logits、softmax 概率与采样 token。
从字符级例子构造相邻 token 训练对。
写出 bigram 的交叉熵目标与一阶 Markov 假设。
认识它与一般 Transformer 语言模型的共同目标和能力差异。

前置与衔接

视频从 Karpathy 的入门 bigram 示例切入。

从 00:07 查看示例来源

**图 1**
板书从最小 bigram 实现切入，追问一个 embedding 层为何足以预测下一个 token。
原视频 · 00:00 ↗

令人困惑的地方是：

答案不在“embedding”这个名称，而在查表得到的向量恰好被解释成 next-token logits。

核心讲解

1. Bigram 只用当前 token 预测下一个 token

一般自回归语言模型学习：

p(x_{t+1}\mid x_{\le t}).

Bigram 做一阶 Markov 近似：

p(x_{t+1}\mid x_{\le t}) \approx p(x_{t+1}\mid x_t).

也就是说，预测时只保留当前 token $x_t$ ，忽略更早的历史。

这仍然是合法的 next-token 概率模型，只是上下文能力极弱。

2. 模型不是一个向量，而是一张 $V\times V$ 表

设词表大小为 $V$ 。

模型参数为：

W\in\mathbb{R}^{V\times V}.

从 00:17 查看参数矩阵

**图 2**
最简模型使用形状为 V×V 的参数矩阵，而不是单独一个 embedding 向量。
原视频 · 00:20 ↗

把它实现为：

``python token_embedding_table = nn.Embedding(vocab_size, vocab_size) ``

第一个 vocab_size 表示可查询的 token 行数，第二个表示每行输出维度。

因此“只有一个词嵌入”更准确的说法是：

3. 当前 token 索引选中矩阵的一行

若当前 token id 为 $i$ ， embedding lookup 得到：

z=W[i,:].

从 00:39 查看 token 到预测向量

**图 3**
当前 token 的索引选中一行，该行直接作为所有候选 next token 的 logits。
原视频 · 00:40 ↗

$z\in\mathbb{R}^{V}$ 的第 $j$ 个分量表示：

z_j = \text{当前 token 为 }i\text{ 时，下一个 token 为 }j\text{ 的 logit}.

从线性代数看， one-hot 向量 $e_i$ 左乘参数矩阵：

e_i^TW=W[i,:].

所以 embedding lookup 等价于 one-hot 线性层，只是无需显式构造稀疏 one-hot。

4. 查表结果是 logits，不是概率

从 01:38 查看 embedding 与 logits

**图 4**
查表得到的是未归一化 logits，需要经过 softmax 才成为条件概率分布。
原视频 · 01:40 ↗

参数行的元素可为任意实数，不要求非负，也不要求总和为一。

需要 softmax：

p(x_{t+1}=j\mid x_t=i) = \frac{\exp(W_{ij})} {\sum_{k=1}^{V}\exp(W_{ik})}.

于是矩阵第 $i$ 行定义一个分类分布。

模型可从该分布采样，也可选择概率最大的 token。

5. 字符级 zoo 示例如何形成训练对

字符级 tokenizer 可把：

\text{zoo}

拆成：

[z,o,o].

从 01:18 查看字符级 tokenization

**图 5**
字符级 tokenizer 把 zoo 拆成 z、o、o，使相邻字符构成 bigram 训练对。
原视频 · 01:20 ↗

相邻训练对为：

z\to o, \qquad o\to o.

若还加入 BOS/EOS，则可多出：

\text{BOS}\to z, \qquad o\to\text{EOS}.

每出现一次 $(i,j)$ ，就推动第 $i$ 行在第 $j$ 列给出更高相对 logit。

6. 训练目标是逐相邻对的交叉熵

对一个训练对 $(i,j)$ ，损失为：

\ell(i,j) = -\log \frac{e^{W_{ij}}} {\sum_ke^{W_{ik}}}.

对语料中的相邻对求和：

L = \sum_{(i,j)\in\mathcal D}\ell(i,j).

若数据足够且没有额外正则，每一行 softmax 会趋向该当前 token 后继 token 的经验条件频率。

因此这张表也可理解为可学习的转移矩阵。

7. 一次批量查询仍能产生多位置 logits

输入 token id 张量若为：

X\in\{0,\ldots,V-1\}^{B\times T},

embedding lookup 输出：

Z=W[X] \in\mathbb{R}^{B\times T\times V}.

每个位置独立按自己的当前 token 选一行。

这可以批量执行，但不同位置之间没有 attention 或递归状态交换。

8. 每行表达一个条件分布

从 01:48 查看的行语义

从 02:00 查看条件分布

**图 6**
矩阵每一行学习一个 p(next token | current token)，忽略更早的上下文。
原视频 · 02:00 ↗

行索引：

i=\text{current token}.

列索引：

j=\text{candidate next token}.

softmax 后第 $i$ 行就是：

p(\cdot\mid x_t=i).

这也解释了为什么输出维必须等于词表大小 $V$ 。

9. 与 Transformer 语言模型有什么关系

Bigram 使用：

z_t=W[x_t,:].

Transformer 使用整个前缀生成上下文表示：

h_t=f_\theta(x_{\le t}),

再投影：

z_t=h_tW_U+b.

共同点是最终都输出 $V$ 维 logits，并用 next-token 交叉熵训练。

区别是 Transformer 的 $h_t$ 可以编码长上下文，而 bigram 的“表示”只由当前 token id 决定。

因此“语言模型的本质是把 token embedding 映射到预测向量”只适合这个最简模型。

更一般的表述是：

跟练与练习

跟练：三 token 词表

词表为：

\{A,B,C\},

参数矩阵为：

W= \begin{bmatrix} 2&0&-1\\ 0&1&0\\ -1&0&2 \end{bmatrix}.

当前 token 为 $A$ 时，模型选择第一行 $[2,0,-1]$ 作为 logits。

它倾向预测 $A$ ，但必须经过 softmax 才能给出具体概率。

编者练习

语料只有： $ABAC.$ 忽略 BOS/EOS。

列出所有 bigram 训练对。
哪一行参数会同时收到两个不同目标的梯度？
模型能否区分上下文 BA 与 CA 后面的预测？

查看参考答案

训练对为：
$A\to B, \quad B\to A, \quad A\to C.$
当前 token 为 $A$ 的参数行同时收到目标 $B$ 和 $C$ 的监督。
Bigram 只看当前 token。
BA 与 CA 的最后一个 token 都是 $A$ ，
所以两种上下文会查询同一行 $W[A,:]$ ，得到完全相同的 next-token 分布。

常见误区

误区 1：一个 embedding 层只有一个向量

nn.Embedding(V,V) 包含 $V$ 行，总计 $V^2$ 个参数。

误区 2：Embedding 输出天然就是概率

输出是任意实数 logits， softmax 后才是概率。

误区 3：行表示下一个 token，列表示当前 token

在这里行由当前 token 索引，列对应候选 next token。

误区 4：Bigram 能利用任意长度上下文

它只条件于当前 token，无法区分末 token 相同但更早历史不同的前缀。

误区 5：没有 attention 就不能是语言模型

只要定义并学习序列概率或 next-token 条件概率，它就是语言模型；attention 只是更强的建模机制。

误区 6：字符级 bigram 与现代 subword LM 的 token 完全相同

原理都基于 token，但 tokenizer 粒度与词表会改变训练对和条件分布。

本课小结

Bigram 用 $p(x_{t+1}\mid x_t)$ 近似完整前缀条件分布。
nn.Embedding(V,V) 是一张 $V\times V$ 参数表，不是单独一个向量。
当前 token id 选择一行，该行的 $V$ 个数是 next-token logits。
Softmax 把 logits 转成每行的条件概率分布。
交叉熵让每行学习语料中的后继 token 统计。
Transformer 与 bigram 都预测 next-token logits，但前者能编码长上下文，后者只能看当前 token。

09

主题讲解 · 01:39

Next-Token 训练的右移对齐：BOS、EOS 与 Loss 位置

学习目标

理解输入 token 与 next-token labels 为什么恰好错开一位。
写出 tokens[:-1] 与 tokens[1:] 的训练切片。
区分 BOS 作为起始上下文、EOS 作为序列结束目标的角色。
解释视频示例中五个 token 为什么产生四个 loss 位置。
把每行隐藏状态、词表 logits 与目标 token 对齐。
认识监督位置数量随数据预处理约定变化的边界。

前置与衔接

自回归语言模型在位置 $i$ 使用前缀：

x_{\le i}

预测：

x_{i+1}.

因此输入位置与监督目标天然相差一个 token。

从 00:00 查看错位总图

**图 1**
板书总览训练激活矩阵与 next-token 标签恰好错开一个位置的关系。
原视频 · 00:00 ↗

“右移标签”不是额外技巧，而是 next-token 任务定义在数组切片上的直接结果。

核心讲解

1. 每个 token 位置对应一行隐藏状态

设训练输入长度为 $T$ ，隐藏维为 $d$ 。

第 $\ell$ 层表示为：

H^{(\ell)}\in\mathbb{R}^{T\times d}.

从 00:13 查看层间激活堆叠

**图 2**
已知整段训练序列时，各层可并行计算所有 token 行的隐藏表示。
原视频 · 00:20 ↗

第 $i$ 行 $h_i$ 在因果 mask 下只能汇总：

x_0,x_1,\ldots,x_i.

它正好具备用于预测 $x_{i+1}$ 的合法前缀信息。

2. 最后一层逐行投影到词表 logits

最后一层：

H\in\mathbb{R}^{T\times d}.

词表投影：

Z=HW_U+b, \qquad Z\in\mathbb{R}^{T\times V}.

第 $i$ 行：

Z_i

是基于前缀 $x_{\le i}$ 的 next-token logits。

它应当与目标 $x_{i+1}$ 计算交叉熵，而不是与当前输入 $x_i$ 对齐。

3. 最常见的切片：输入去尾，标签去头

给定完整 token 数组：

\text{tokens}=[x_0,x_1,\ldots,x_T],

构造：

``python x = tokens[:-1] y = tokens[1:] ``

即：

x=[x_0,x_1,\ldots,x_{T-1}],

y=[x_1,x_2,\ldots,x_T].

从 00:39 查看错开一位

**图 3**
位置 i 的输出与原序列位置 i+1 的 token 对齐，因此输入和标签右移一位。
原视频 · 00:40 ↗

两者长度相等，且逐元素满足：

y_i=x_{i+1}^{\text{original}}.

4. BOS 是起点输入，通常不是本片段的预测目标

以：

[\text{BOS},\text{海},\text{安},\text{雨},\text{EOS}]

为完整数组。

切片后：

x=[\text{BOS},\text{海},\text{安},\text{雨}],

y=[\text{海},\text{安},\text{雨},\text{EOS}].

BOS 的用途是给第一个真实 token 一个起始上下文：

p(\text{海}\mid\text{BOS}).

在这个片段内，没有哪个位置要预测 BOS。

5. 因果 mask 下，BOS 可被所有后续位置读取

从 01:19 查看 BOS 列

**图 4**
BOS 位于序列起点，在因果掩码下可作为所有后续位置的公共前缀。
原视频 · 01:20 ↗

因果 mask 允许：

j\le i.

BOS 位于 $j=0$ ，所以所有 $i\ge0$ 的位置都可读取它。

这不表示 BOS 对所有位置的 attention 权重都很大，只表示它没有被因果 mask 禁止。

“可见”是权限， “实际读取多少”由 attention 权重决定。

6. EOS 是最后一个可预测目标

在上述切片中，输入“雨”的位置预测 EOS：

p(\text{EOS}\mid \text{BOS},\text{海},\text{安},\text{雨}).

这让模型学习何时停止生成。

EOS 可以是标签，并不意味着还必须把 EOS 作为同一个样本的输入位置。

7. 为什么视频里的五个 token 只有四个 loss

视频把完整数组画成五个 token，又指出最后 EOS 输入位置没有下一个答案。

从 00:49 查看五个 token

从 01:05 查看最后位置

**图 5**
若 EOS 已是样本最后一个输入，它在样本内没有后继 token，因此该位置不计算 next-token loss。
原视频 · 01:00 ↗

若先把五个 token 全部送入模型，可得到五行 logits。

但最后一行以 EOS 为当前输入，样本内没有 $x_{i+1}$ ，因此最后一行不进入 next-token loss。

这与预先使用 tokens[:-1] 去掉最后输入在监督上等价。

8. 四个位置不是固定规则

监督位置数量由以下因素共同决定：

原始 token 数量；
是否显式添加 BOS；
是否显式添加 EOS；
sequence packing 是否跨样本拼接；
padding 位置是否设为 ignore index；
是否为最后输入额外提供下一 token。

例如长度为 $T+1$ 的完整数组做相邻切片，会产生 $T$ 个监督对。

真正不变的是：

9. Causal mask 与 label shift 缺一不可

Label shift 规定“要预测谁”：

Z_i\leftrightarrow x_{i+1}.

Causal mask 规定“预测时能看谁”：

h_i=f(x_{\le i}).

只有 shift 没有 mask，模型可能从输入中直接看到目标 $x_{i+1}$ ，造成标签泄漏。

只有 mask 没有 shift，若 logits 与当前 token 对齐，任务会变成复原已知输入，而不是 next-token prediction。

10. 交叉熵如何忽略无效位置

有效位置集合记为 $\mathcal I$ ：

L = -\frac{1}{|\mathcal I|} \sum_{i\in\mathcal I} \log\operatorname{softmax}(Z_i)_{y_i}.

padding、跨文档边界或无后继标签的位置，可在 labels 中写成框架约定的 ignore index。

这些位置即使产生 logits，也不会贡献 loss 或梯度。

跟练与练习

跟练：手工右移

完整数组：

[\text{BOS},A,B,C,\text{EOS}].

常见训练切片为：

位置	输入	标签
0	BOS	A
1	A	B
2	B	C
3	C	EOS

这里没有 EOS 作为当前输入的监督行，也没有 BOS 作为标签。

编者练习

完整 token 数组为： $[\text{BOS},春,风,\text{EOS}].$ 采用相邻切片训练。

写出输入与标签。
哪个位置学习预测 EOS？
若把完整四个 token 都送入模型，哪一行 logits 应被忽略？

查看参考答案

输入为：
$[\text{BOS},春,风],$
标签为：
$[春,风,\text{EOS}].$
当前输入为“风”的位置学习预测 EOS。
若完整四个 token 都产生 logits，
最后以 EOS 为当前输入的那一行没有样本内后继标签，
应通过切片或 ignore index 从 loss 中排除。

常见误区

误区 1：标签右移意味着把 token embedding 真正搬到右边

它主要是输入数组与目标数组的索引对齐，不必在模型内部移动隐藏状态。

误区 2：BOS 需要由同一个样本的某位置预测

BOS 是人为提供的起点上下文，通常不作为该片段的目标。

误区 3：EOS 不参与 loss

EOS 常作为最后一个有效目标，用于学习停止生成。

误区 4：五个 token 必然产生五个监督位置

若没有第六个后继 token，最后输入行没有 next-token 标签。

误区 5：BOS 对所有位置可见，所以 attention 权重一定最大

可见只表示没有被 mask；具体权重仍由 query-key 分数决定。

误区 6：右移标签后可以取消因果 mask

输入仍包含未来真值 token，没有 mask 会让较早位置偷看目标。

本课小结

位置 $i$ 的隐藏状态基于 $x_{\le i}$ ，对应预测 $x_{i+1}$ 。
常见切片是输入 tokens[:-1]、标签 tokens[1:]。
BOS 提供起始上下文，EOS 通常作为最后一个可预测目标。
五 token 示例产生四个 loss，是相邻切片或忽略最后无后继行的结果。
监督位置数量随 BOS/EOS、padding 与 packing 约定变化，右移一位的关系不变。
Label shift 决定预测目标，causal mask 防止未来信息泄漏。

10

主题讲解 · 01:18

BERT 与 GPT 的共同骨架：双向注意力和因果掩码

学习目标

识别 encoder-only BERT 与 decoder-only GPT 的共同 block 骨架。
串起 Q/K/V、attention、残差、FFN 与第二条残差。
比较双向 self-attention 与 causal self-attention 的可见区域。
解释 mask 差异如何服务 Masked LM 与自回归建模目标。
区分“简图相似”与“完整模型完全相同”。
认识经典 encoder-decoder Transformer 额外的 cross-attention。

前置与衔接

BERT 常被称为 encoder-only， GPT 常被称为 decoder-only。

名称不同，它们的简化 Transformer block 却共享大量结构。

从 00:00 查看整体对比

**图 1**
板书把 encoder-only BERT 与 decoder-only GPT 放入同一简化 block 骨架中比较。
原视频 · 00:00 ↗

本课要回答两个问题：

哪些模块可以用同一张图表示？
哪些边界不能被“它们很像”这句话抹掉？

核心讲解

1. 两者都从 token 表示 X 开始

输入可以是 embedding 与位置编码的组合，也可以是上一层输出：

X\in\mathbb{R}^{T\times d_{\text{model}}}.

从 00:21 查看输入 X

在每个 block 内， X 先进入 self-attention 子层。

“self”表示 Q、K、V 来自同一表示流 X。

2. 共同的 Q/K/V attention 主干

投影为：

Q=XW_Q, \quad K=XW_K, \quad V=XW_V.

从 00:28 查看 Q/K/V

**图 2**
两类 block 都可用 X 投影 Q/K/V、计算 attention 分数并汇聚 V 的骨架表示。
原视频 · 00:20 ↗

attention 为：

P = \operatorname{softmax}_{\text{row}} \left( \frac{QK^T}{\sqrt{d_h}}+M \right),

O=PV.

BERT 与 GPT 都可以使用多头 attention，都对各 head 输出拼接并做输出投影。

共同骨架不要求二者的参数数值相同，只表示算子类型与数据流可以相似。

3. 两者都有残差与逐 token FFN

attention 子层输出会通过残差路径与原表示结合。

从 00:44 查看第一条残差

随后进入 FFN：

\operatorname{FFN}(x) = W_2\sigma(W_1x+b_1)+b_2.

它通常在隐藏维上：

d_{\text{model}} \rightarrow d_{\text{ff}} \rightarrow d_{\text{model}}.

从 00:49 查看 FFN

Attention 输出经过残差连接，再进入逐 token FFN 与第二条残差路径 — **图 3**
attention 输出经过残差连接，再进入逐 token FFN 与第二条残差路径。
原视频 · 00:40 ↗

FFN 子层后还有第二条残差路径。

完整实现还会在相应位置使用 LayerNorm 或 RMSNorm； Pre-Norm 与 Post-Norm 的排列取决于架构。

4. 最关键的简图差异是 self-attention mask

标准 BERT encoder self-attention 对非 padding token 双向可见。

其 mask 可近似写为：

M_{ij}=0.

GPT decoder-only self-attention 使用因果 mask：

M_{ij}= \begin{cases} 0,&j\le i,\\ -\infty,&j>i. \end{cases}

从 01:01 查看 mask 差异

**图 4**
标准 GPT 自注意力屏蔽未来位置，标准 BERT 自注意力允许双向可见。
原视频 · 01:00 ↗

对长度 $T$ 的 attention 矩阵：

BERT 可使用整张非 padding 区域；
GPT 只能使用含主对角线的下三角区域。

5. Mask 差异与训练目标相互配合

BERT 的经典 Masked Language Modeling 随机遮蔽部分输入 token，再利用左右两侧上下文恢复它们。

因此目标位置需要双向上下文。

GPT 学习：

p(x_{1:T}) = \prod_{t=1}^T p(x_t\mid x_{<t}).

预测位置不得读取未来真值，因此需要 causal mask。

mask 并不是随意的视觉差异，而是概率分解与训练目标的结构约束。

6. 双向可见不等于 BERT 能直接自回归生成

BERT 的每个表示可以融合左右上下文。

这适合理解、分类、抽取与填空，却不直接满足从左到右生成所需的因果条件。

GPT 的位置 $i$ 只能依赖前缀，所以训练时学到的条件分布能直接用于逐 token 生成。

架构骨架相似，不代表使用方式相同。

7. “除了 mask 都一样”只是教学简化

从 01:12 查看简图结论

实际 BERT 与不同 GPT 版本还可能在以下方面不同：

训练目标与数据构造；
位置编码；
LayerNorm/RMSNorm 与 Pre/Post-Norm；
FFN 激活函数与门控结构；
tokenizer 与词表；
参数规模、宽度与深度；
是否使用 bias、dropout 或权重绑定。

因此准确表述是：

8. Encoder-decoder 还多一条 cross-attention 数据流

从 00:09 查看 encoder-decoder 边界

经典 encoder-decoder 的 decoder 通常包含：

causal self-attention；
cross-attention；
FFN。

Cross-attention 中：

Q=YW_Q, \quad K=X_{\text{enc}}W_K, \quad V=X_{\text{enc}}W_V.

Q 来自 decoder， K/V 来自 encoder memory。

所以不能把“decoder-only GPT 的简图”直接等同于经典 Transformer decoder。

跟练与练习

跟练：画出可见位置

长度为 4 的序列中，位置 2 的可见集合为：

标准 BERT： $\{0,1,2,3\}$ ，忽略 padding 等其他 mask；
GPT： $\{0,1,2\}$ 。

位置 0 的可见集合为：

标准 BERT： $\{0,1,2,3\}$ ；
GPT： $\{0\}$ 。

编者练习

句子 token 为： $[A,B,C,D].$

标准 BERT 中，位置 $B$ 能否读取 $D$ ？
GPT 中，位置 $B$ 能否读取 $D$ ？
若某模块的 Q 来自 decoder、K/V 来自 encoder，它属于哪类 attention？

查看参考答案

标准 BERT 使用双向 self-attention，
位置 $B$ 可以读取 $D$ ，前提是 $D$ 不是 padding 或被其他 mask 排除。
GPT 使用 causal self-attention，
$D$ 位于 $B$ 的未来，因此不可读取。
Q 与 K/V 来自不同表示流时，
该模块是 cross-attention。

常见误区

误区 1：BERT 没有任何 mask

BERT 没有 GPT 式因果 mask，但仍可能有 padding mask 与输入 token 的 MLM 遮蔽策略。

误区 2：GPT 的上三角权重只是变小

因果 mask 在 softmax 前加 $-\infty$ ，使对应权重严格为零。

误区 3：BERT 与 GPT 完全相同，只差模型名字

简化 block 骨架相似，训练目标和实现选择仍有重要差异。

误区 4：Decoder-only 就是经典 decoder

经典 encoder-decoder 的 decoder 还包含 cross-attention； decoder-only 模型没有 encoder memory 可读。

误区 5：FFN 会在不同 token 之间交换信息

FFN 对各 token 行独立应用； token 间信息混合主要来自 attention。

误区 6：双向模型也能无修改地做因果生成

双向训练允许未来信息，与从左到右条件分解不一致。

本课小结

BERT 与 GPT 都可用 Q/K/V self-attention、残差、FFN、残差的简化骨架表示。
标准 BERT self-attention 双向可见，GPT self-attention 使用下三角 causal mask。
可见性差异分别服务 Masked LM 与自回归 next-token 目标。
“简图很像”不等于完整模型只差 mask；位置编码、Norm、FFN 等也可能不同。
Decoder-only GPT 不等同于经典 Transformer decoder，后者通常还有 cross-attention。
判断 self/cross attention 应看 Q 与 K/V 的表示来源。

11

主题讲解 · 02:40

从线性层到注意力：读懂最简 Transformer 反向传播图

学习目标

按反向执行顺序追踪 FFN 与 attention 梯度。
掌握线性层输入梯度和权重梯度公式。
严格区分 attention score、softmax 概率及其梯度。
识别简图省略的 dV、dK、激活函数与参数梯度。

前置与衔接

本课假设单头 attention，并省略 batch、head、残差和归一化轴。

视频的价值是提供矩阵 shape 直觉；课程稿在此基础上补齐不能混用的梯度符号。

核心讲解

1. 先读完整前向主线

令

S=\frac{QK^T}{\sqrt{d_k}},\qquad A=\operatorname{softmax}(S),\qquad O=AV.

随后 $O$ 进入 FFN，简化为两层线性变换。

Transformer 前向与反向矩阵流总览 — **图 1**
视频把前向 Q、K、A、V、O、FFN 与反向梯度流排成上下两条路径。
原视频 · 00:00 ↗

反向传播必须从损失端倒序穿过前向操作。

2. 线性层反传的完整公式

对线性层

Y=XW+b,

已知上游梯度 $G_Y=\partial L/\partial Y$ ，则

G_X=G_YW^T,

G_W=X^TG_Y,

G_b=\operatorname{reduce}_{batch,token}(G_Y).

视频重点画了输入梯度 $G_X$ ，但训练还必须计算 $G_W$ 和 $G_b$ 。

3. FFN 反向必须逆序

先暂时忽略激活函数，写成

H=OW_{up},\qquad X=HW_{down}.

则

dH=dXW_{down}^T,

dO=dHW_{up}^T.

FFN 线性层按逆序乘转置权重 — **图 2**
线性层输入梯度沿反向顺序依次右乘 W_downᵀ 与 W_upᵀ。
原视频 · 01:00 ↗

“先反向变长、再反向变短”来自 shape，而不是把前向矩阵简单倒放。

真实 FFN 常含 GELU、SiLU 或 gated 分支；这些算子的局部导数必须插在相应线性层之间。

4. 从 O=AV 返回 A 与 V

矩阵乘法的两侧都需要梯度：

dA=dO\,V^T,

dV=A^TdO.

输出梯度经过 V 转置得到注意力概率梯度 — **图 3**
由 O=AV 可得 dA=dO·Vᵀ，同时还应计算 dV=AᵀdO。
原视频 · 01:40 ↗

视频主线只继续追踪 $dA$ 到 $dQ$ ，但 $dV$ 不是可选项。

5. A 与 S 不能共用一个梯度符号

$A$ 是 softmax 后概率， $S$ 是 softmax 前 score。

softmax 前后梯度需要显式区分 — **图 4**
注意力概率 A=softmax(S) 时，dA 还需经过 softmax 雅可比才能得到 dS。
原视频 · 01:20 ↗

必须先计算

dS=J_{softmax}(S)^TdA.

对每一行，可写成高效形式

dS=A\odot \left(dA-\operatorname{sum}(dA\odot A)\right),

其中求和沿 key 轴并保留维度。

视频为保持图简洁，统一用 $A$ 指代中间注意力矩阵；阅读公式时必须恢复这层区别。

6. 从 S=QK^T/√d_k 返回 Q 与 K

前向行列切分帮助检查 shape。

Q 与 K 转置的行列切分对应矩阵内积 — **图 5**
前向 QKᵀ 的行列切分帮助对照反向 dQ=dS·K。
原视频 · 02:00 ↗

反向公式是

dQ=\frac{dS\,K}{\sqrt{d_k}},

dK=\frac{dS^TQ}{\sqrt{d_k}}.

从输出梯度沿注意力路径得到 dQ — **图 6**
从 dO 经过 Vᵀ、softmax 反传与 K，最终得到 dQ。
原视频 · 02:20 ↗

视频画到 $dQ$ 为止，但完整 attention 反传还包括 $dK$ 与前面的 $dV$ 。

7. 这张图刻意省略了什么

它没有完整画出：

Q、K、V 投影权重及其参数梯度。
多头 reshape、transpose 与 concat 的逆操作。
mask 与 dropout 的反传。
输出投影。
残差连接与 LayerNorm/RMSNorm。
FFN 激活与 gated 分支。

因此“最简”表示一条教学主线，不等于可直接替代自动微分图。

跟练与练习

原视频练习

编者练习

线性层 $Y=XW$ 中， $X$ shape 为 $[B,D_{in}]$ ， $W$ 为 $[D_{in},D_{out}]$ 。写出 $dX$ 与 $dW$ 的公式和 shape。

查看参考答案

若 $dY$ 为 $[B,D_{out}]$ ，则
$dX=dYW^T,$
shape 为 $[B,D_{in}]$ ；
$dW=X^TdY,$
shape 为 $[D_{in},D_{out}]$ 。

常见误区

输出梯度乘权重转置只给出输入梯度，不包含权重梯度。
$dA=dOV^T$ 后不能跳过 softmax 就直接写 $dQ=dAK$ 。
计算 $dQ$ 不代表 attention 反传完成，还需要 $dK$ 与 $dV$ 。
FFN 有非线性或门控时，不能只连续乘两个转置权重。
残差与 LayerNorm/RMSNorm 被简图省略，不代表真实 Transformer 没有这些算子。

本课小结

反向传播按前向操作的逆序执行。
线性层需同时计算输入、权重和偏置梯度。
$O=AV$ 产生 $dA$ 与 $dV$ 两条分支。
softmax 把 $dA$ 转为 $dS$ 。
$S=QK^T/\sqrt{d_k}$ 再产生 $dQ$ 与 $dK$ 。
最简可视化适合建立 shape 直觉，不能替代完整计算图。

12

单元综合

Transformer 计算图与语言模型训练综合

单元能力目标

完成本单元后，应能从同一份 shape 与依赖账本同时回答三类问题：

Transformer 前向中每个矩阵乘法在收缩哪一轴、保留哪一轴？
next-token 训练为何能并行，又为何不把前一位置的预测分布回灌？
损失如何沿 FFN、attention 与投影层反向传播？

最终目标不是背一张模型结构图，而是能对任意简化图执行四步检查：

写 shape；
标数据来源；
标可见范围；
反向追踪梯度分支。

本单元可用一条主链统摄：

\text{token ids} \rightarrow X \rightarrow Q,K,V \rightarrow S \rightarrow P \rightarrow O \rightarrow \text{FFN} \rightarrow Z \rightarrow L.

其中：

$X$ 是逐 token 表示；
$S$ 是 softmax 前 attention score；
$P$ 是按 query 行归一化的权重；
$O$ 是 Value 汇聚结果；
$Z$ 是逐位置词表 logits；
$L$ 是与右移标签计算的损失。

概念连接

1. 先建立统一 shape 账本

设 batch 维暂时省略，序列长度为 $T$ ，模型维为 $d$ ，单头维为 $d_h$ ，词表大小为 $V$ 。

X\in\mathbb{R}^{T\times d}.

单头 Q/K/V 投影：

Q=XW_Q, \quad K=XW_K, \quad V_m=XW_V,

Q,K,V_m\in\mathbb{R}^{T\times d_h}.

这里用 $V_m$ 表示 Value 矩阵，避免与词表大小 $V$ 混淆。

分数矩阵：

S=\frac{QK^T}{\sqrt{d_h}} \in\mathbb{R}^{T\times T}.

加 mask 并按行归一化：

P = \operatorname{softmax}_{\text{row}}(S+M) \in\mathbb{R}^{T\times T}.

汇聚 Value：

O=PV_m \in\mathbb{R}^{T\times d_h}.

多头拼接与输出投影后回到：

H_{\text{attn}}\in\mathbb{R}^{T\times d}.

FFN 保持 token 轴不变：

[T,d] \rightarrow [T,d_{\text{ff}}] \rightarrow [T,d].

最终词表投影：

Z=HW_U+b \in\mathbb{R}^{T\times V}.

只要每一步收缩轴与保留轴一致，这条主链就在 shape 上闭合。

2. Token-wise 投影与 token mixing 分工不同

以下操作对每个 token 行独立使用共享参数：

$XW_Q$ 、 $XW_K$ 、 $XW_V$ ；
多头后的 $OW_O$ ；
FFN 的升维、激活与降维；
最后的词表投影 $HW_U$ 。

它们收缩特征轴，不会在这次矩阵乘法中混合不同 token 行。

Token 间信息汇聚发生在：

O_i=\sum_jP_{ij}v_j.

这里沿 key/token 轴求和，第 $i$ 个 query 读取允许位置的 Value。

因此“线性层逐 token 独立”与“Transformer 能交换上下文信息”并不矛盾。

3. 加权平均、分块乘法与 attention 是同一计算的三种读法

对固定 query：

o_i=\sum_jP_{ij}v_j.

因为 softmax 保证：

P_{ij}\ge0, \qquad \sum_jP_{ij}=1,

$o_i$ 是该 head 内可见 Value 的加权平均。

矩阵视角写成：

O=PV_m.

分块视角写成：

O_I=\sum_JP_{I,J}(V_m)_J.

三种表述分别强调：

加权平均：概率与凸组合；
矩阵乘法：shape 与轴收缩；
tile：GPU 上如何分块计算与累加。

FlashAttention 进一步在 tile 上维护 softmax 统计量和输出累积，避免把完整 $T\times T$ 概率矩阵写回高带宽显存。

它改变计算调度与内存访问，不改变 attention 的数学结果。

4. Mask 把同一骨架变成不同的信息流

标准 GPT causal self-attention 使用：

M_{ij}= \begin{cases} 0,&j\le i,\\ -\infty,&j>i. \end{cases}

第 $i$ 行只能读取当前位置及以前。

标准 BERT self-attention 通常对所有非 padding token 双向可见，没有 GPT 式上三角 causal mask。

因此二者可以共享：

\text{QKV attention} \rightarrow \text{residual} \rightarrow \text{FFN} \rightarrow \text{residual}

的简化骨架，却具有不同的有效依赖图。

经典 encoder-decoder 的 decoder 还增加 cross-attention：

Q=YW_Q, \quad K=X_{\text{enc}}W_K, \quad V_m=X_{\text{enc}}W_V.

判断 self/cross attention 的可靠线索是 Q 与 K/V 的数据来源，不是模块名称或 shape 是否相同。

5. Teacher forcing 把未来真值变成标签，不变成可见输入

给定完整序列：

[x_0,x_1,\ldots,x_T],

常见切片为：

X_{\text{ids}}=[x_0,x_1,\ldots,x_{T-1}],

Y=[x_1,x_2,\ldots,x_T].

位置 $i$ 的 logits $Z_i$ 与标签 $Y_i=x_{i+1}$ 对齐。

训练前已经知道所有 ground-truth token，所以整张输入张量可一次送入模型。

因果 mask 又保证：

h_i=f(x_{\le i}),

不会读取作为未来标签的 $x_{i+1}$ 。

所以所有位置能并行产生 logits，而概率分解仍是自回归的：

p(x_{1:T}) = \prod_tp(x_t\mid x_{<t}).

6. “只算分布，不生成 token”是训练并行的关键

训练在每个位置得到 logits：

Z_i\in\mathbb{R}^{V}.

交叉熵可直接计算：

\ell_i = -\log\operatorname{softmax}(Z_i)_{Y_i}.

不需要先采样 $\hat x_{i+1}$ 。

因此标准 teacher forcing 的单次前向中不存在：

\operatorname{softmax}(Z_i) \rightarrow h_{i+1}

这条直接回边。

下一位置读取的是 ground-truth token embedding 与此前隐藏表示，不是前一位置的完整词表分布。

但各位置并非完全独立：

后一位置可通过 causal attention 读取此前隐藏表示；
各位置共享同一组模型参数；
各位置 loss 的梯度会在参数上累加。

7. BOS、EOS 与有效 loss 位置由切片约定决定

完整数组：

[\text{BOS},A,B,\text{EOS}]

使用相邻切片后：

[\text{BOS},A,B] \rightarrow [A,B,\text{EOS}].

BOS 提供第一个真实 token 的起始上下文； EOS 是最后一个可预测目标。

若把完整数组都送入模型，最后以 EOS 为输入的 logits 行在样本内没有后继标签，应通过切片或 ignore index 排除。

“四个 token 产生三个监督位置”不是架构定理，它来自具体数组长度与切片方式。

不变量只有：

8. Bigram 是整条语言模型主链的最小退化

Bigram 参数矩阵：

W\in\mathbb{R}^{V\times V}.

当前 token id 为 $i$ 时：

Z_t=W[i,:].

它跳过 attention 与 FFN，直接把当前 token 的查表结果解释为 next-token logits。

softmax 后得到：

p(x_{t+1}=j\mid x_t=i).

因此 bigram 与 Transformer 都使用 next-token 交叉熵，差别在上下文表示：

\text{Bigram}: h_t=f(x_t),

\text{Transformer}: h_t=f(x_{\le t}).

它是检查 token、logits、概率与标签关系的最小模型。

9. 反向传播按前向主链逆序展开

线性层：

Y=XW+b

的完整梯度为：

dX=dYW^T,

dW=X^TdY,

db=\operatorname{reduce}(dY).

Attention 输出：

O=PV_m

产生两条分支：

dP=dO(V_m)^T,

dV_m=P^TdO.

$P$ 是 softmax 后概率， $S$ 是 softmax 前 score，必须先经过：

dS=J_{\text{softmax}}(S)^TdP.

再由：

S=\frac{QK^T}{\sqrt{d_h}}

得到：

dQ=\frac{dS K}{\sqrt{d_h}},

dK=\frac{dS^TQ}{\sqrt{d_h}}.

若只画出 $dQ$ ，并不表示 $dK$ 、 $dV_m$ 或参数梯度可以省略。

对比与决策

1. 看到一张矩阵图，先判断它在做哪种混合

操作	收缩轴	保留轴	是否混合 token
$XW_Q$	特征轴 $d$	token、head 特征	否
$QK^T$	head 特征 $d_h$	query、key	产生两 token 关系分数
$PV_m$	key/token 轴	query、Value 特征	是
FFN	特征轴	token、输出特征	否
$HW_U$	模型特征轴	token、词表	否

若说“token 在这一层被混合”，应进一步指出是 $PV_m$ 沿 key 轴汇聚，不能把所有线性投影统称为 token mixing。

2. 区分 score、概率、logits 与 token

名称	典型 shape	约束	用途
attention score $S$	$T\times T$	任意实数	query-key 匹配
attention 权重 $P$	$T\times T$	每行非负且和为一	汇聚 Value
vocab logits $Z$	$T\times V$	任意实数	next-token 分类
vocab 概率	$T\times V$	每行非负且和为一	loss、采样或排序
token id	标量或 $T$	离散整数	embedding lookup

两个 softmax 虽然形式相同，归一化对象与语义完全不同：

attention softmax 在 key 轴归一化；
vocab softmax 在词表轴归一化。

3. 训练、prefill 与 decode 的决策线索

阶段	token 是否已知	多位置是否并行	是否采样	KV Cache
训练前向	ground truth 已知	是	否	通常不用作推理缓存
推理 prefill	prompt 已知	是	通常只在末端选下一 token	建立
推理 decode	新 token 未知	每步只新增一行	是	读取并追加

“训练前向近似 prefill”只描述一次处理多 token 的计算形态。

训练还要计算 labels、loss、反向与参数更新； prefill 主要建立缓存并进入 decode。

4. BERT、GPT 与 encoder-decoder 的判断线索

Q/K/V 都来自同一表示流：self-attention。
Q 来自 decoder，K/V 来自 encoder memory：cross-attention。
双向可见：更接近标准 BERT encoder self-attention。
只能读取当前位置及以前：更接近 GPT causal self-attention。
同时有 causal self-attention 与 cross-attention：经典 encoder-decoder 的 decoder。

“BERT 与 GPT 的 block 很像”只适用于简化算子骨架，不应覆盖训练目标、位置编码、Norm 布局、激活与 tokenizer 等差异。

5. 简图省略项的恢复顺序

看到教学简图时，按以下顺序补回：

shape 与 batch/head 轴；
$1/\sqrt{d_h}$ 缩放；
mask 与 softmax 归一化轴；
多头 reshape、concat 与 $W_O$ ；
残差、Norm、dropout；
FFN 激活或门控；
labels、loss 与反向分支。

这样既保留简图的直觉价值，也不会把“画面没画”误判成“模型没有”。

综合训练

编者练习

设 decoder-only 模型处理完整 token 数组： $[\text{BOS},A,B,\text{EOS}].$ 采用相邻切片训练。单头张量 shape 为： $X:[3,8], \quad Q,K,V_m:[3,4].$ 请完成以下任务：

写出输入与标签。
写出 $QK^T$ 、 $P$ 、 $O$ 和词表 logits 的 shape，设词表大小为 20。
说明位置 1 能读取哪些 token，又要预测哪个 token。
判断前一位置的词表概率是否直接进入位置 1 的隐藏状态。
已知 $dO$ ，写出 $dP$ 与 $dV_m$ ；再说明为何不能把 $dP$ 直接当成 $dS$ 。

查看参考答案

输入与标签为：
$X_{\text{ids}}=[\text{BOS},A,B],$
$Y=[A,B,\text{EOS}].$
shape 链为：
$QK^T:[3,3],$
$P:[3,3],$
$O=PV_m:[3,4],$
多头输出投影回模型维后，
词表 logits 为：
$Z:[3,20].$
位置 1 的当前输入为 $A$ 。
因果 mask 允许它读取：
$[\text{BOS},A],$
对应标签是下一个 token $B$ 。
标准 teacher forcing 不把位置 0 的词表概率向量回灌到位置 1；
位置 1 读取真值 token 表示与合法前缀隐藏状态。
由：
$O=PV_m$
得到：
$dP=dO(V_m)^T,$
$dV_m=P^TdO.$
$P=\operatorname{softmax}(S+M)$ ，
所以还必须通过 softmax Jacobian 把 $dP$ 转成 $dS$ 。
自检标准：
• 每个矩阵乘法的收缩轴相同；
• 因果可见集合不含未来 token；
• logits 标签恰好右移一位；
• 反向同时保留矩阵乘法两侧的梯度分支。

进入下一单元前

已能从 $[T,d]$ 输入完整推出 attention、FFN 与 $[T,V]$ logits 的 shape。
已能指出 token-wise 投影与 $PV$ token mixing 的边界。
已能区分 attention score、attention 权重、vocab logits、vocab 概率与离散 token。
已能解释 teacher forcing、label shift 与 causal mask 如何共同支持训练并行。
已能区分训练前向、inference prefill 与 KV Cache decode。
已能用 Q/K/V 来源判断 self-attention 与 cross-attention。
已能从 $O=PV_m$ 反推出 $dP$ 、 $dV_m$ ，并继续经过 softmax 得到 $dS$ 。
若仍会把“没有直接概率回边”理解为各位置完全独立，回看 teacher forcing 与共享参数梯度。
若仍会混淆矩阵的 token 轴和特征轴，回看分块矩阵乘法与 shape 账本。
若仍会把简化 BERT/GPT 图当作完整实现，回看 mask、cross-attention 与省略项恢复顺序。

Transformer 计算图与语言模型训练

学习目标

前置与衔接

核心讲解

1. Token 先变成表示矩阵

2. QKV 投影不会混合 token 行

3. Q 的行乘 K 的列得到分数

4. 因果掩码在 softmax 前加入

5. 乘 V 才发生 token 间汇聚

6. 输出投影与 FFN 再次逐 token 作用

7. 下一层结构相同，参数不同

跟练与练习

跟练：给每一步标 shape

常见误区

误区 1：QKV 投影已经让 token 互相通信

误区 2：先 softmax，再加因果 mask

误区 3：板书没有 1/dk1/\sqrt{d_k}1/dk​​，公式就不需要缩放

误区 4：FFN 就是两次纯线性变换

误区 5：不同层同名权重就是同一参数

误区 6：这张板书已经包含完整 block

本课小结

学习目标

前置与衔接

核心讲解

1. 第零种：普通二维分块

2. 第一种：行块乘共享矩阵

3. 第二种：Q 行块乘 K 的列块

4. 第三种：概率 tile 乘 V 行块

5. FlashAttention 把行列解释推广为 tile

6. 第四种：列块乘行块的外积累加

跟练与练习

跟练：写出三段 attention 的保留轴

常见误区

误区 1：四种分块会得到四种不同数学结果

误区 2：行块乘共享权重也会混合 token

误区 3：QKTQK^TQKT 的收缩轴是 token 轴

误区 4：FlashAttention 只是把图切小

误区 5：外积视角等于所有 kernel 的唯一实现

本课小结

学习目标

前置与衔接

核心讲解

1. 分布预测不等于选出 token

2. Teacher forcing 的右移结构

3. 因果掩码允许训练并行

4. SFT 中标签从答案右移而来

5. 负对数似然直接惩罚目标 token

6. 多模态 OCR 使用同一 teacher-forcing 逻辑

7. Teacher forcing 没有消除 exposure bias

跟练与练习

跟练：手工右移

常见误区

误区 1：模型最后一层直接输出概率

误区 2：训练也要逐 token 采样

误区 3：并行计算意味着看到未来标签

误区 4：后续位置使用模型上一步预测

误区 5：Teacher forcing 彻底解决误差累积

误区 6：SFT 必须对 prompt 全部计算 loss

本课小结

学习目标

前置与衔接

核心讲解

1. 普通平均给所有项相同权重

2. 加权平均按重要性分配权重

3. 加权和不要求系数总和为一

4. Attention 权重来自缩放点积

5. Softmax 把一行分数归一化

6. 概率乘 Value 得到凸组合

7. 为什么某个权重更大

8. “Transformer 是加权平均”有边界

跟练与练习

跟练：判断是不是加权平均

常见误区

误区 1：任意加权和都叫加权平均

误区 2：QKTQK^TQKT 的分数本身就是概率

误区 3：Softmax 对整个矩阵一起归一化

误区 4：权重更大一定代表人类可解释的语义关系

误区 5：整个 Transformer 输出都在 Value 凸包内

误区 6：多头 attention 只做一次统一平均

本课小结

误区 3：板书没有 $1/\sqrt{d_k}$ ，公式就不需要缩放

误区 3： $QK^T$ 的收缩轴是 token 轴

误区 2： $QK^T$ 的分数本身就是概率

误区 1： $QK^T$ 可以直接乘 V