规模化训练与强化学习

本课不要求推导幂律指数，但需要理解训练损失、测试损失、过拟合和计算预算。

它是“规模化训练与强化学习”单元的起点：先学会读规模规律，后续才能判断后训练方法究竟改变了规律，还是只在相同预算下提高了效率。

课程先用生成模型能力随计算投入扩展的图示建立直觉：算力增加后，模型可能依次学会反射、风格、组合属性、文字渲染与更复杂的视觉关系。

这幅图不是严格的因果证明。它表达的是一个研究动机：如果能力随资源变化存在稳定趋势，我们能否在训练大模型之前，用小模型实验估计更大规模的损失和资源需求？

因此 Scaling Law 的核心价值不是“鼓励堆参数”，而是把昂贵的大规模实验变成可外推的问题。

课程引用 Kaplan 等人的语言模型实验，将测试损失分别写成计算量 $C$、数据量 $D$ 和非 embedding 参数量 $N$ 的函数：

读图时要抓住三点：

在双对数坐标里，幂律会接近直线。这使研究者可以先做多个小规模实验，拟合斜率，再估计目标损失对应的资源规模。

课程还强调，在合理范围内，深宽比等局部架构超参数对这组实验的影响小于 $(C,D,N)$；这不意味着架构永远不重要，只说明在特定模型族和实验区间内，主要变化可由规模变量解释。

只看 $L(N)$ 容易得出“参数越多越好”的片面结论。课程进一步给出参数量与数据量的联合形式：

当数据量固定时，模型增大到一定程度后，测试损失不再下降，甚至因过拟合而回升。

课程用相对额外损失衡量数据不足带来的过拟合：

若把允许的过拟合阈值设为 $0.02$，就能反推出给定参数规模所需的最低数据量。这里真正可迁移的思路是：

训练预算固定时，模型宽度、批量大小和训练步数会相互制约。

课程介绍 critical batch size：批量太小，硬件吞吐和梯度估计效率不足；批量过大，新增样本对一次更新的边际收益变小，计算被浪费。

原报告基于所述论文给出的直觉是：计算预算增加时，最优参数量增长较快，而最优训练步数增长较慢；因此新增预算不应全部换成“多训练几轮”，而应同时调整模型规模和有效批量。

这不是可以直接复制到所有现代模型的配方。模型架构、优化器、数据重复率和训练目标变化后，指数与最优点都需要重估。

如果多选题必须全对才计分，或者字符串必须完全匹配才算正确，那么底层 token 准确率的连续提升会被映射成 0 或 1 的跳变。

假设每个 token 独立且单 token 正确率为 $p$，长度为 $m$ 的序列“全对”概率约为 $p^m$。当 $p$ 缓慢上升时，$p^m$ 在某个区间会显得陡峭，于是宏观指标看起来像能力突然出现。

把指标改为平均 token 正确率、编辑距离或其他连续评分后，一部分涌现曲线会恢复为平滑的规模趋势。

因此看到“某能力只在大模型出现”时，应先问：

这并不证明所有涌现都是幻觉，只说明“曲线跳变”本身不足以证明内部机制发生突变。

课程最后比较了 LSTM 与 Transformer 的规模曲线：二者都可能随规模改善，但更能利用长上下文的架构在同等尺度下拥有更好的渐近表现。

因此 Scaling Law 没有回答以下问题：

更准确的表述是：在确定的模型族、数据分布、训练目标和观测区间内，Scaling Law 提供资源—损失关系；当其中任一项改变，规律也应重新测量。