RoPE：从旋转到相对位置

本课只需要三项前置知识：复数的实部与虚部、欧拉公式、二维矩阵乘法。

它位于“RoPE：从旋转到相对位置”单元的入口。先把“复数乘法就是二维旋转”弄清楚，后续再讨论多维配对、不同频率、相对位置和平移不变性。

二维向量

可以对应到复平面上的复数

这里实部 $x$ 是横坐标，虚部系数 $y$ 是纵坐标。

这一步没有改变信息，只是把两个实数换成一种更适合描述旋转的表示。

欧拉公式给出

它的模长为

辐角为 $\theta$。

因此把任意复数 $z$ 乘以 $e^{i\theta}$ 时，模长不变，辐角增加 $\theta$。

课程把它概括为：要让 $x+iy$ 逆时针旋转 $\theta$，只需计算

图中原向量与新向量长度相同，二者夹角为 $\theta$。这就是后面所有代数式应该保持的几何事实。

把 $e^{i\theta}$ 展开：

因为 $i^2=-1$，所以

按实部、虚部分组，旋转后的两个坐标就是

一个实用的自检方法是令 $\theta=0$：此时 $x'=x$、$y'=y$，说明符号至少通过了单位变换检查。

再令 $\theta=\pi/2$：此时 $(x,y)$ 变为 $(-y,x)$，确实是逆时针旋转 $90^\circ$。

把 $x'$ 与 $y'$ 中 $x,y$ 的系数按行排列：

记旋转矩阵为 $R(\theta)$，它满足

所以它是正交矩阵，会保持向量长度和两个向量之间的夹角。

到这里，视频已经完成它要讲的核心链条：复数乘法、欧拉展开、坐标变换、旋转矩阵其实是同一个操作的四种写法。

RoPE 会把偶数维向量按相邻的两个维度配对。对第 $j$ 个二维子空间，位置 $m$ 对应一个角度 $m\omega_j$：

不同子空间使用不同频率 $\omega_j$，因此同一位置会在不同二维平面上旋转不同角度。

更关键的是，query 和 key 的旋转能把绝对位置相减：

于是注意力内积里出现的是位置差 $n-m$。

这一步是编者为学习路径补上的连接，不是本条短视频完整推导的内容。本视频只建立二维旋转矩阵；多维推广、频率设计和相对位置性质应继续看本单元后续课程。

上一课已从欧拉公式得到二维旋转矩阵。

本课反过来使用旋转：让角度为 $\alpha$ 的单位向量再旋转 $\beta$，直接读出和差角公式。

它也是后续证明 $R(\alpha)R(\beta)=R(\alpha+\beta)$ 的最小例子。

单位圆上角度为 $\alpha$ 的向量是

将它逆时针旋转 $\beta$ 后，方向角变为 $\alpha+\beta$。

因此输出必为

把单位向量写成单位复数：

旋转 $\beta$ 等价于再乘 $e^{i\beta}$：

分别展开两边：

比较实部得到

比较虚部得到

标准旋转矩阵为

它作用于 $\mathbf v_\alpha$：

几何上这个输出又必须等于 $\mathbf v_{\alpha+\beta}$。

逐分量比较，便再次得到两条和角公式。

复数乘法与二维旋转矩阵不是两种不同的旋转。

映射

会把“乘以 $e^{i\beta}$”准确变成“左乘 $R(\beta)$”。

所以两条证明只是同一个运算的复数坐标和实矩阵坐标。

前两课已经建立二维旋转矩阵与角度合成。

实际 attention head 往往有几十或上百维，本课解决如何把二维结构复制到高维。

对坐标 $(x_0,x_1)$，旋转写成

二维平面只需一个角度就能描述绕原点旋转。

一般四维旋转可以同时混合更多坐标平面，参数自由度也更多。

RoPE 的目标不是穷尽所有高维正交变换。

它需要一种结构简单、频率可控、易于逐元素计算的表示。

因此采用更受限的“两两配对”。

令

把 $(x_0,x_1)$ 视为第一对，把 $(x_2,x_3)$ 视为第二对。

两对可使用不同角度 $\theta_0,\theta_1$：

两组坐标不会互相混合，但都保留二维旋转的范数与角度性质。

若 rotary 维度为 $d=2k$，则可形成 $k$ 个坐标对。

位置 $m$ 的整体算子是

不同 $\theta_r$ 让各二维平面以不同速度旋转。

块对角结构使每一对都独立满足

因此整个高维算子也只在每个块中保留相对位置差。

视频把结论说成“奇数维不能用 RoPE”。

更准确的表述是：标准的两两配对旋转要求参与旋转的维度为偶数。

若总 head 维度为奇数，工程上可以只选择一个偶数 rotary 子维度，让剩余坐标不旋转；也可通过补维后再处理。

所以限制来自这套成对实现，不是“奇数维向量在数学上绝对不能带位置信息”。

本课讨论的是经典正余弦位置向量与 token 表示直接相加的方案。

它与后续 RoPE 的乘法式旋转形成对照。

假设相同内容从位置 $i,j$ 整体移动到 $i+\Delta,j+\Delta$。

相对距离仍是 $j-i$。

若位置部分仍随 $i$、$j$ 各自改变，就暴露了绝对位置。

令内容表示为 $x_i$，位置向量为 $p_i$。

加法式方案先形成

再投影得到

忽略缩放常数时，位置 $i$ 对位置 $j$ 的 logit 是

代入投影：

记 $M=W_q^TW_k$，完整展开得到

四项分别是内容—内容、内容—位置、位置—内容、位置—位置。

后三类都让 $p_i$ 或 $p_j$ 单独进入表达式。

正余弦位置向量自身确实包含丰富的三角结构。

但经过一般矩阵 $M$ 与内容交叉后，整个 $s_{ij}$ 并不会自动化成只含 $j-i$ 的函数。

若整体平移，$p_i,p_j$ 被替换为 $p_{i+\Delta},p_{j+\Delta}$。

因此这个参数化显式允许模型使用绝对位置。

“依赖绝对位置”描述的是模型表达式可见哪些变量。

它不意味着每一次移动都保证输出数值变化。

特殊权重、特殊内容或数值抵消可能让某个样本恰好不变。

严谨结论是：一般情况下，该结构不具备由参数化保证的共同平移不变性。

RoPE 则直接把位置部分组织为 $R_i^TR_j=R_{j-i}$，从结构上暴露位置差。

上一课组已把 RoPE 写成多个二维旋转块。

本课进一步把数学矩阵改写为实际张量算子。

每个二维对共享一个位置相关角度。

对位置 $i$、第 $r$ 对坐标，角度可记为

高维旋转写成

除 $2\times2$ 对角块外，其余位置全为零。

如果把它当普通 $d\times d$ 稠密矩阵做 GEMM，会计算大量已知为零的乘加。

对一对坐标 $(x,y)$：

所有坐标对都可以并行执行同一模式。

定义

则二维旋转等价于

张量实现只需预先得到 cos、sin，做坐标重排、符号翻转、逐元素乘法与加法。

不必在内存中物化一个稠密 $R_i$。

数学上，结果仍等价于矩阵—向量乘法。

工程上，不调用通用稠密矩阵乘内核。

计算并没有消失：仍有三角值读取、逐元素乘法、加法和数据重排。

实际性能还取决于内存布局、kernel fusion、广播方式和硬件实现。

因此最准确的说法是“避免显式稠密旋转矩阵与通用 GEMM”。

前几课已建立二维旋转、多维块对角结构和逐元素实现。

本课回答 RoPE 最关键的问题：为什么从两个绝对位置能得到一个相对位置差。

令位置 $i$ 的 query 为 $q_i$，位置 $j$ 的 key 为 $k_j$。

旋转后它们是 $R_iq_i$ 与 $R_jk_j$。

内积为

因此关键不在两个旋转各自是什么，而在乘积 $R_i^TR_j$。

二维旋转矩阵是

转置后

几何上，正向旋转的逆操作就是反向旋转。

先转 $\beta$，再转 $\alpha$：

这可由矩阵乘法与和角公式验证，也可由几何直接理解。

对一个频率 $\theta$，令

于是

最终 logit 的位置形式是

偶数 rotary 维度由多个二维块组成。

第 $r$ 个块得到 $R((j-i)\theta_r)$。

所以完整算子仍只由 $j-i$ 与一组频率共同决定。

这里证明的是 RoPE 位置算子在 query-key 内积中的形式只依赖相对偏移。

标量注意力仍取决于 $q_i,k_j$ 的内容。

因果 mask、序列边界和其他模块也可能破坏整套系统层面的平移对称。

因此不要把结论扩大为“任何移动都让完整模型输出严格不变”。

上一课说明 attention 中出现 $R((j-i)\theta_r)$。

本课固定相对距离，考察频率 $\theta_r$ 如何改变累计旋转角。

第 $r$ 个二维对的位置角是

距离越长，累计相位通常越大。

视频板书采用

$d$ 是 rotary 维度，$r$ 是二维频率对的编号。

当 $r>0$ 时，增大 base 会减小 $\theta_r$。

但 $r=0$ 时 $\theta_0=1$，不随 base 改变。

所以“所有频率统一变小”并不严格成立。

高频对在较短距离内就绕过较大角度。

低频对随距离变化更慢，可表达更长尺度的相对关系。

RoPE 不是单一周期，而是一组频率共同作用。

在相同 $r>0$ 与相同距离下：

这会把某些频率维度的明显相位变化推向更长距离。

训练长度之外，快速旋转的相位可能经历更多周期与振荡。

视频用曲线说明，降低部分频率可让相关结构在更远距离上变化得更平缓。

这是有用的机制直觉，但不是普遍定理。

模型质量还受训练长度、频率重标定方案、位置分布、attention pattern 与微调策略影响。

单纯把 base 调得越大也不保证越好；过慢旋转可能压缩短距离分辨率。

视频结尾提到“调整 base frequency”的方法，但字幕不足以可靠确认具体论文或方法名，因此本稿不做归属断言。

二维旋转可以作用于任意选定的两个坐标。

关键不是坐标在向量中的物理相邻性，而是 cos、sin 与 rotate-half 使用同一配对约定。

常见论文矩阵把

组成二维对。

矩阵非零项集中在相邻的 $2\times2$ 对角块中。

另一种布局先把向量分为前半与后半，再对应配对：

若按原坐标顺序画矩阵，非零块看起来像分布在四个大区域，而不是紧邻的小方块。

令 $P$ 为把相邻配对顺序改成半区配对顺序的置换矩阵。

两个旋转算子可写成

置换只改变坐标编号，不改变每个二维平面内的旋转。

因此只要输入重排、cos/sin 排列与 rotate-half 约定一致，结果在对应坐标系中等价。

对重排后的算子：

因为置换矩阵满足 $PP^T=I$：

于是 $R_m^TR_n=R_{n-m}$ 的核心相对位置推导保持不变。

本课依据视频中展示的 transformers Llama 实现来解释布局。

代码库会演化，不应把具体文件行号、缓存形状或辅助函数签名视为永久 API。

稳定知识是：检查坐标如何配对、cos/sin 如何排列、rotate-half 如何重排，并验证三者一致。

上一课从矩阵层面说明两种布局相差坐标置换。

本课进入视频展示的代码快照，练习从张量切片读回数学。

视频检查的 RoFormer 路径先生成 query，再整理多头形状。

一个稳定的阅读顺序是：

视频展示的实现用偶数位和奇数位切片：

对每对 $(x_{2r},x_{2r+1})$，重排项应等价于

最终结构是

对单个二维对，这就是

$\odot$ 表示逐元素乘法，不是通用矩阵乘。

若最后一维为 $d$，先切成

rotate-half 返回的核心结构是

于是二维对变成 $(x_r,x_{r+d/2})$。

只要 cos、sin 也按相同半区方式重复或排列，旋转公式仍完全一致。

设 query shape 为

rotate-half 应只重排最后一维 $D$，不能误切 batch、head 或 sequence 轴。

cos、sin 必须能广播到同一 shape；不同库可能保存为 $[L,D]$、$[1,1,L,D]$ 或其他可广播形式。

视频以 head dimension 128 举例，但这是该示例的参数，不是 Llama 永恒固定值。

同样，具体源码路径与函数签名属于版本快照；稳定结论是坐标配对与代数等价性。

标准 RoPE 使用二维旋转块。

本课不再问“标准矩阵长什么样”，而问“哪些性质真正让绝对位置相减”。

设位置 $m$ 的 query 使用 $R_m$，位置 $n$ 的 key 使用 $R_n$。

内积位置部分总是

目标是让它只依赖相对偏移 $n-m$。

因此最直接的契约是

对某个只接收差值的算子函数 $F$ 成立。

二维旋转满足

以及

令 $R_m=R(m\theta)$，立即得到

这说明标准二维旋转是一种简单而漂亮的充分构造。

若算子族满足

且每个 $R(a)$ 正交，那么

于是它构成整数平移群到正交变换群的表示。

这时

二维平面旋转只是这类群表示中最常用的一种。

从这个角度看，“必须是二维旋转矩阵”不是普遍必要条件。

高维正交表示、多个不可约块或其他等价参数化都可能满足同一契约。

数学上，核心是位置算子组合只留下差值，并最好保持内积尺度稳定。

工程上，还希望：

硬件友好非常重要，但不是“编码相对位置”的数学必要条件。

视频还提到四元数等扩展方向；字幕没有给出可核验论文信息，本稿只保留为开放探索，不做具体文献归属。

面对候选 $R_m$，依次检查：

前四项回答数学正确性，第五项回答工程可用性。

上一课得到一般关系

本课只考察最简单却很关键的特例 $m=n$。

在注意力矩阵中，第 $n$ 行第 $n$ 列比较位置 $n$ 的 query 与位置 $n$ 的 key。

此时两个位置索引相同。

所以位置算子乘积化为

若 $R_n$ 正交，左边也直接等于单位阵 $I$。

标准旋转矩阵为

相对距离为零时，每个频率的角度都是

代入 $\cos0=1$、$\sin0=0$：

若 rotary 维度为 $d=2k$：

每个二维对都保持原值，因此整个向量不发生位置旋转。

同一点与自身的相对距离为零。

零角旋转不改变方向，也不改变长度。

所以单位阵不是人为补丁，而是“什么都不做”这一变换的唯一自然表示。

位置平移的单位元是 0。

若 $R$ 保持加法结构：

则

在 $R(0)$ 可逆时，两边消去一个 $R(0)$，得到 $R(0)=I$。

这说明单位旋转不仅是三角函数巧合，也是群表示必然保留单位元的结果。

$R_0=I$ 只说明位置算子没有额外旋转。

主对角线的标量 logit 仍是

其数值由内容、投影与缩放决定，并不固定为 1。

前课已证明

本课把这个一维索引差放回二维 attention 矩阵观察。

视频把不同相对位移画成不同颜色的对角带。

主对角线标为 $R_0$，相邻对角线依次是 $R_1,R_2$ 或 $R_{-1},R_{-2}$。

标准 attention logit 仍除以 $\sqrt{d_k}$。

是否把右上三角置为 $-\infty$ 取决于注意力类型：

ASR 在此处疑似把“BERT 和 GPT”识别错；结合板书语境，本稿只保留双向与因果两类结构差异，不依赖该词级转写。

令第 $m$ 行对应 query $q_m$，第 $n$ 列对应 key $k_n$。

旋转后的未掩码分数是

整理得

利用转置和合成性质：

这说明矩阵坐标 $(m,n)$ 的位置算子只由 $n-m$ 决定。

二维矩阵上，满足 $n-m=c$ 的格点落在同一条对角线上。

例如：

所以同一对角线共享同一个相对旋转算子 $R_c$。

即使两个格点都有同一 $n-m$，它们的 $q_m$ 与 $k_n$ 一般不同。

因此

仍会产生不同标量。

彩色对角带更准确地说是“位置算子结构图”，不是实际 attention score 一定同色同值的热力图。

可以分别画三层：

把三者混成一张图最容易产生“同对角线同分数”的误解。

上一课已看到固定相对位移对应同一对角带。

本课把“沿对角线移动”解释为两个 token 位置同时平移。

视频用引力只依赖两点距离作类比。

若两点坐标分别为 $m,n$，同时加上位移 $\Delta$：

它们的距离差满足

类比的有效部分是“共同平移消去”。

attention 不是物理引力，不能把力的其他性质照搬过来。

对位置 $m,n$：

标准旋转给出

共同平移后：

所以位置算子完全相同。

推导依赖

与