采样、投机解码与多 Token 预测

语言模型在每个生成位置先输出词表上的 logits：

贪婪解码直接选最大 logit 对应的 token：

随机采样则先把 logits 变成概率分布，再从中抽样。

Temperature、Top-k 与 Top-p 都不改变模型参数；它们改变的是“怎样从当前 logits 得到最终候选分布”。

本课的问题是：这些看似随机的策略，在什么条件下只剩一个可选 token，从而与贪婪解码等价？

Temperature 采样使用

除以同一个正数不会改变 logits 的大小顺序，却会改变差值在指数函数中的尺度。

对任意两个 token $i,j$：

因此：

公式包含 $z_i/T$，所以字面上的 $T=0$ 会除零，数学上没有定义。

视频板书用“$T=0$”表达极低温的直觉；严谨写法应是正温度极限：

若最大 logit 唯一，设它是 $z_m$，则对任意 $i\ne m$：

所以 $p_m(T)\to1$，抽样结果趋于贪婪选择。

工程实现常把 temperature=0 当作一个开关，直接绕过 softmax 随机采样并执行 greedy；这属于 API 约定，不是把 0 代入上式。

如果有多个 token 的 logit 并列最大，低温极限不会自动选定其中某一个。

在理想精确计算下，概率质量会留在并列最大项之间；若它们 logits 完全相同，极限通常在这些项上均分。

而具体 greedy 实现需要一个 tie-break 规则，例如选择词表索引最小的项。

因此，“低温等于 greedy”还隐含一个条件：最大值唯一，或两种路径采用相同的并列处理规则。

Top-k 先按分数或概率排序，只保留最高的 $k$ 个 token，把其余 token 的分数设为负无穷，再重新归一化。

设保留集合为 $S_k$，过滤后的分布为

当 $k=1$ 时，集合里只剩最高概率 token，重归一化后其概率为 1。

所以在没有并列处理差异、且实现确实允许只保留一个 token 时，Top-k 的 $k=1$ 与贪婪解码等价。

Top-p 又称 nucleus sampling。

先把概率降序排列：

再选择满足下式的最小 $m$：

最后仅在前 $m$ 个 token 中重归一化并采样。

若阈值满足

那么第一个 token 已经达到阈值，最小前缀只含一个 token，结果便与贪婪解码等价。

“令 $p\to0^+$”是一个容易记住的充分条件，但不是唯一条件；只要阈值不超过当前最高概率，标准 Top-p 就会留下单个候选。

Top-k 与 Top-p 把部分候选概率变为 0 后，剩余概率之和通常小于 1。

采样前必须重新除以剩余总质量。

当剩余集合恰好只有一个元素时，无论过滤前它的概率是 0.2 还是 0.9，重新归一化后都会变成 1。

真正使输出确定的不是“原概率已经接近 1”，而是“最终可采样集合只剩一个元素”。

在唯一最大值和标准实现约定下，三种常用充分条件是：

它们的共同本质是：最终分布的支撑集缩小到一个 token。

真实推理框架常同时使用 Temperature、Top-k、Top-p、重复惩罚和最小保留 token 数。

这些变换通常按固定顺序执行。

Temperature 不改变排序，却会改变概率值，因此可能改变 Top-p 需要保留多少个 token。

Top-k 先删掉候选后，再做 Top-p，结果也可能不同于先对完整词表做 Top-p。

若框架设置 min_tokens_to_keep > 1，即使 Top-p 阈值很小，也可能强制保留多个候选。

所以“参数满足某个数值”只有连同实现顺序和最小保留规则一起看，才能断言等价于 greedy。

投机解码希望用较小、较快的 Draft 模型提出 token，再让较大 Target 模型校验。

若直接接受 Draft 样本，输出会服从 $q$，而我们真正想保留的是 Target 分布 $p$。

因此验收不是简单判断“两个模型的 argmax 是否相同”，而是一套严格的接受—拒绝—重采样规则。

本课用三个 token 的数值例，把每一步的概率质量算清楚。

候选集合为 $\{A,B,C\}$。

Draft 分布是

Target 分布是

对比可见：

概率总和都为 1，所以缺口总量 $0.1+0.3$ 恰等于盈余总量 $0.4$。

校正的任务就是：削掉 $C$ 多出来的质量，再把它按缺口比例补给 $A$ 和 $B$。

Draft 先采样一个候选 $X\sim q$。

对采到的 $x$，接受概率定义为

候选经“Draft 采到并被接受”这条直接路径输出的概率质量为

这个等式是整套校正的核心。

它保证直接路径最多保留 Target 允许的质量，不会把 Draft 的过度自信带进最终分布。

对 $A$：

对 $B$：

Draft 本来就没有给够 $A$、$B$，所以直接采到它们时没有必要再拒绝。

但“总是接受”只保留了 $q(A)=0.1$ 和 $q(B)=0.1$，仍不足以达到 Target 的 $0.2$ 和 $0.4$。

缺少的部分要靠拒绝其他候选后的重采样补回来。

Draft 对 $C$ 的质量为 0.8，而 Target 只允许 0.4。

所以

直接输出 $C$ 的总概率是

恰好等于 $p(C)$。

其余 $0.8\times0.5=0.4$ 进入拒绝分支。

如果拒绝 $C$ 后再直接从完整 Target 分布 $p$ 采样，$C$ 还会再次获得概率质量。

但它的 Target 额度已经由直接接受路径完整提供了。

因此拒绝后必须只补 Target 相对 Draft 的缺口，使用正残差：

其中 $(u)_+=\max(u,0)$。

本例中

正残差总量为

归一化后的残差分布是

因此拒绝后以 0.25 选择 $A$，以 0.75 选择 $B$，不会再选择 $C$。

最终输出 $C$ 只有直接接受路径：

输出 $A$ 有两条互斥路径：

所以

输出 $B$ 同样有两条路径：

最后得到

对有限离散词表，只要 $p,q$ 都是归一化分布，直接接受质量为

总拒绝质量为

归一化守恒还给出

若 $R>0$，拒绝后从

采样，则

若 $R=0$，则 $p=q$，所有候选都接受，也无需定义或使用残差分布。

这里的无损指：遵循上述随机校正规则后，最终输出的条件分布精确等于 Target 分布。

它不表示：

多 token 投机解码会在每个位置使用对应前缀下的条件 $p_i,q_i$ 顺序验收；第一次拒绝后，后续草稿基于已失效分支，不能继续提交。

若实现使用近似概率、不同采样过滤、量化误差或修改过的验收规则，严格分布等价也需要重新审查。

设 Draft 的提案分布为 $q$，Target 的目标分布为 $p$。

投机解码先采样

再以

接受候选；若拒绝，则从归一化正残差 $(p-q)_+$ 中采样替代 token。

上一课可以直接算公式，本课改用概率树把“最终 token 到底从哪条路径来”展开。

数值例仍取

第一层是 Draft 提案：

第二层是 Target 验收：每个提案按 $\alpha(x)$ 分到接受或拒绝分支。

第三层只在拒绝时出现：从残差分布 $r$ 采一个替代 token。

最终输出某个 token 的概率，等于树上所有到达该 token 的互斥叶路径概率之和。

定义 Draft 低估集合

以及 Draft 高估集合

本例中：

$A$、$B$ 的 Target 柱高高于 Draft，它们有待补的 deficit。

$C$ 的 Draft 柱高高于 Target，它携带需要削掉的 surplus。

若 $x\in D$，则 $p(x)/q(x)\ge1$，因此

所以 $A$、$B$ 被 Draft 直接提案时都沿接受边输出。

这条直接路径给 $x$ 的质量是

但 $q(x)<p(x)$，尚缺的 $p(x)-q(x)$ 要由树的拒绝分支补齐。

若 $x\in S$，则 $p(x)/q(x)<1$。

本例对 $C$：

概率树上，先走到 $C$ 的概率是 0.8，然后：

直接输出 $C$ 的路径质量是

对一般 surplus token $x$，拒绝概率为

乘上 Draft 提案概率，进入拒绝分支的质量为

把所有 surplus token 相加，得到总拒绝质量

本例只有 $C$，所以

因为 $p$ 与 $q$ 都归一化：

所以

把正项与负项移到等式两边：

这条质量守恒保证：拒绝分支拿到的总质量，恰好足够填满所有 deficit。

若 $R>0$，定义

本例中

于是整个拒绝分支给 $A$ 的质量为

给 $B$ 的质量为

以 $A$ 为例：

所以

同理

残差分布对 surplus token 的概率为 0，因为 $(p(x)-q(x))_+=0$。

因此 $C$ 不会从校正分支再次出现，只能由直接接受路径输出：

三项合起来正好是

对任意 token $x$，直接接受路径贡献

所有拒绝路径汇合后，再采到 $x$ 的贡献是

两者相加：

这个等式同时覆盖 deficit 与 surplus 两类 token。

若 $R=0$，归一化守恒意味着没有 deficit，也没有 surplus，因此 $p=q$。

所有提案都以概率 1 接受。

此时 $r(x)$ 的表达式会出现 0 作分母，但拒绝事件概率本身为 0；正确实现应跳过残差分支，而不是计算一个不会使用的 $0/0$。

这棵树证明的是单个条件采样位置。

在多 token 投机解码中，需要对每个草稿位置使用该位置对应前缀下的 $p_i$、$q_i$ 顺序验收。

一旦某位置拒绝，之后候选基于被拒绝分支，不能继续沿原树提交。

“保持目标分布”仍依赖精确计算这些条件概率和残差规则；它不承诺固定随机序列或固定性能收益。

投机解码的一次校正使用两个条件分布：

候选 $x\sim q$ 以

接受；若拒绝，则从

重采样。

概率树能逐条枚举路径，但 token 多时会变得繁琐。

柱状图方法不依赖只有三个 token，而是直接比较每个 token 上的概率质量。

对固定 token $x$，把 $p(x)$ 与 $q(x)$ 两根柱叠在一起。

共同覆盖的高度是

若 $p(x)>q(x)$，上方还缺一段 Target 质量：

若 $q(x)>p(x)$，则 Draft 多出一段盈余：

对每个 $x$，$d(x)$ 与 $s(x)$ 不会同时为正。

因为两个分布都归一化：

因此

把正差与负差分开，就得到

记这个共同总量为

它既是 Draft 多分配的总质量，也是验收规则产生的总拒绝质量。

候选 $x$ 被 Draft 采到的概率为 $q(x)$。

再乘接受概率：

所以接受步骤的几何意义非常直接：对每根 Draft 柱，只保留它与 Target 柱重叠的部分。

多出来的 Draft 柱高会按概率被裁掉。

若 $q(x)>p(x)$，这个 token 有 surplus。

它的正残差为

因此不可能从拒绝后的残差分布再次采到。

它唯一的输出来源是直接接受：

接受比值 $p/q$ 恰好把高于 Target 的 Draft 柱裁到 Target 高度。

若 $p(x)>q(x)$，接受概率被截断为 1。

所以直接提案路径先贡献

它距离 Target 还差

拒绝后的残差分布定义为

整个拒绝事件发生的总概率正是 $R$，所以校正路径给该 token 的质量为

两条路径相加：

无需逐类讨论时，可以把结果写成

对任意实数 $a,b$，都有

令 $a=p(x),b=q(x)$，立即得到

这就是投机解码单位置“无损”的逐点证明。

三 token 概率树容易让人误以为只有一个 surplus token 被拒绝，再补给两个 deficit token。

柱状图则允许：

无论各有多少项，只要 $p,q$ 都归一化，所有盈余汇成的拒绝质量就等于所有缺口之和。

残差重采样不是从某一个特定红色柱子“直接跳”到另一个柱子，而是先汇总所有拒绝质量，再按所有正残差归一化分配。

若 $p=q$，则 $R=0$，所有柱子完全重叠，全部候选直接接受。

残差分布在形式上分母为 0，但拒绝事件不可能发生，算法直接跳过该分支。

若 $q(x)=0$，Draft 永远不会直接提案该 token，因此无需在实际提案路径计算 $p(x)/q(x)$；它可能通过正残差分支获得质量。

若 $p(x)=0<q(x)$，该候选接受概率为 0，一定被拒绝。

数值实现需要避免无条件计算所有位置的比值造成除零或 NaN。

语言模型词表是有限离散集合，柱状图和求和表达最自然。

对连续分布，直觉可以类比为密度曲线下的面积，但需要把求和改成积分：

此时讨论的是相对于同一基准测度的密度，而不是字面上无穷多根独立柱子。

证明成立需要：

“无损”只表示最终条件分布为 Target 分布，不表示随机轨迹、延迟或接受率不变。

自回归大模型推理通常分成两种阶段：

普通生成让大型 Target 模型连续执行 Decode。

投机解码则让便宜的 Draft 模型先串行生成一小段候选，再让 Target 把这段已知候选组织成一次块状验证。

这里的目标不是减少 Target 参数量，而是改变大型模型一次前向所处理的 token 数和计算形态。

在普通自回归生成中，第 $t+1$ 个 token 必须等第 $t$ 个 token 被采样后才能确定输入。

所以大型模型按如下链条运行：

依次向后。

单次 Decode 的 query 长度通常为 1。

模型权重很大，却只为一个新位置执行计算，容易出现算术强度不高、硬件利用不足或 kernel 启动占比明显的情况。

不同模型、batch 和硬件的瓶颈不完全相同，因此不能把 Decode 一概写成某个固定百分比的 GPU 利用率。

设 Draft 一轮提出 $\gamma$ 个候选：

这些候选仍然具有因果依赖：

因此 Draft 也要串行 Decode，并非同时独立猜出 $\gamma$ 个 token。

加速机会来自 Draft 每一步显著便宜：它可能参数更少、层数更浅，或采用其他低成本提案机制。

如果 Draft 并不便宜，这段额外串行工作反而可能抵消所有收益。

Draft 生成后，$y_{1:\gamma}$ 已经是已知输入。

Target 可以把这段候选接在已确认前缀的 KV Cache 之后，在一次带因果掩码的前向中处理多个位置。

这常被称为 chunked verification 或 incremental prefill。

对候选位置 $i$，Target 需要的分布是

一个块状前向可同时产生这些位置的隐藏状态和对齐的 logits。

“同时产生”是计算调度层面的并行：causal mask 仍保证第 $i$ 行只能读取合法前缀。

它不是说 $y_1,\ldots,y_\gamma$ 在概率上互相独立，也不是 Target 在一次操作里凭空生成了多个未知 token。

普通 Decode 的新 token 维度为 1，许多线性层更接近矩阵—向量或很瘦的矩阵乘。

块状验证一次输入 $\gamma$ 个或更多已知位置，线性层和注意力投影可形成更宽的矩阵乘。

相对而言，这可能：

但它仍需要读取权重、计算多个位置并访问更长的 KV Cache。

所以“验证多个 token 几乎等于一次 Decode”只能作为某些硬件和长度范围的经验近似，不能当作复杂度恒等式。

视频采用一种便于板书说明的调度：Target 先从前缀末端 logits 采一个锚点，然后 Draft 串行产生两个候选，组成三个 token 的验证块。

例如把这三个 token 记为

其中 $a$ 是 Target 给出的锚点，$y_1,y_2$ 是 Draft 后续提案。

Target 对三个已知位置做增量 Prefill，可得到错一位对齐的后续分布：

更常见的标准投机解码描述是：从当前已确认前缀出发，Draft 直接提出 $\gamma$ 个候选；Target 在一次块状前向中给出验证这些候选所需的条件分布，并在全接受时提供额外的下一 token 分布。

它不要求每轮都先由 Target 单独采一个新 token，再让 Draft 开始。

视频的锚点画法可以帮助解释 logits 与 token 的错位关系，也可能对应某种具体调度；但不能推广成所有实现的统一规则。

阅读框架代码时，应以真实输入块、缓存边界和 logits 对齐方式为准。

Target 对候选块的最后一个位置也产生了“下一个 token”分布。

若所有 Draft 候选都通过验收，这份分布基于有效前缀，可以再采一个奖励 token。

若 Draft 提出 $\gamma$ 个候选，标准单链算法在全接受路径通常最多提交

个 token。

但若第 $j$ 个候选被拒绝，之后候选都基于错误分支，只能提交已接受前缀，再从 Target 校正分布产生替代 token。

实际每轮提交数取决于接受长度，不固定等于 $\gamma+1$。

两个模型参数不同，各层 K/V 的 head 数、维度、数值和层数也可能不同。

因此 Draft 和 Target 各自维护缓存：

候选被验证时，Target 会为候选位置算出新的 K/V，但只有最终接受的前缀可以提交为长期缓存状态。

若在第 $j$ 个候选拒绝：

Draft 的候选缓存也要与最终接受前缀重新对齐。

若无条件保留整个验证块的 K/V，后续注意力会读取未被接受的 token，语义就错了。

设：

投机一轮的近似时间是

普通 Target 生成同样 $m$ 个 token 的时间约为

只有当

时才获得加速。

这里 $m$ 由接受率和首次拒绝位置决定；Draft 越准确，平均接受长度通常越长。

增大 $\gamma$ 有两面性：

最优草稿长度与模型对、序列长度、batch、GPU、kernel、采样设置和业务延迟目标有关。

很多系统会根据近期接受长度动态调整 $\gamma$，而不是使用一个永远最优的固定值。

接受—拒绝—残差重采样证明的是：正确实现时，最终输出条件分布保持 Target 等价。

Prefill/Decode 分析回答的是：这样的计算重排是否更快。

前者是概率正确性，后者是系统性能。

即使验收规则无损，也可能因 Draft 太慢、接受率太低、batch 已足够大或验证 kernel 不理想而没有加速。

反之，任何为了更快而改动概率、过滤顺序或验收近似的实现，都需要单独说明它是否仍保持严格分布等价。

投机解码让小型 Draft 模型先便宜地提出若干候选，再由大型 Target 模型批量验收。

设当前已经确认的最后一个 token 为锚点 $x_t$，Draft 接着提出

本课只追问一个计数问题：明明 Draft 只提出 $K$ 个候选，为什么最好的一轮却能提交 $K+1$ 个新 token？

答案不在 Draft 多猜了一次，而在 Target 的一次前向计算天然多得到一个“下一位置”的分布。

Target 模型先对 prompt 做 Prefill。

每一层都为 prompt 建立 K/V，最后一个位置的隐藏状态经过词表投影，得到下一个 token 的概率分布。

从该分布采样出的 token 记为 $x_t$。

视频强调：这个首个锚点由 Target 产生，不是让 Draft 从 prompt 末尾先猜一个再回头验收。

这让后续 Draft 路径从一个已经受 Target 确认的上下文开始。

Draft 收到 $x_t$ 后开始普通自回归 Decode。

它先根据当前前缀采样 $y_1$，把 $y_1$ 对应的 K/V 追加到自己的缓存，再采样 $y_2$，如此继续到 $y_K$。

因此候选满足链式依赖：

“提出 $K$ 个草稿”意味着 Draft 执行了 $K$ 个条件采样位置，而不是同时独立猜 $K$ 个词。

验收时，Target 接收

在已有前缀 KV Cache 之后，这相当于一次长度为 $K+1$ 的 incremental prefill。

因果掩码保证每一行只能看到它左侧已经给出的 token，所以这些行可以在同一次矩阵计算中并行完成。

长度为 $K+1$ 的输入，会产生 $K+1$ 个隐藏状态，也就对应 $K+1$ 份“下一个 token”分布。

把 Target 得到的分布记为 $p_1,\ldots,p_{K+1}$。

其语义是：

可写成

对 $i\le K$，存在草稿候选 $y_i$ 可供验收。

对 $i=K+1$，Draft 没有再提供候选，但 Target 已经把这一分布顺手算出来了。

若 $y_1$ 到 $y_K$ 全部通过验收，当前有效上下文已经延伸到 $y_K$。

这时 $p_{K+1}$ 正好是在该有效上下文之后的 Target 分布，可以直接从中采样奖励 token $z$：

于是本轮提交

总数正好是 $K+1$。

Target 这次只对 $K+1$ 个输入位置计算了隐藏状态。

最后一份分布能采样 $z$，但要继续得到 $z$ 之后的分布，必须再把 $z$ 送入模型做一次新的前向计算。

因此当前批次没有足够信息再免费产生第二个奖励 token。

这也是 $K+1$ 上界的计算边界，而不是经验规则。

若第 $j$ 个草稿被拒绝，则 $y_j$ 之后的草稿都基于错误分支，不能直接提交。

该轮通常只提交已经接受的前缀，再从 Target 对应的修正分布产生替代 token。

因此实际产出取决于接受位置：

最后一种情况会在下一课专门展开。

Target 能一次算多行，是因为候选 token 已经由 Draft 给定。

这并没有取消因果关系。

每一行仍通过 causal mask 只读取合法前缀；只是 GPU 可以把这些已知输入行组织成 GEMM，而不必像未知 token 生成那样逐个采样。

所以更准确的表述是：

本课解释视频展示的标准投机解码计数关系。

不同推理框架可能在调度、草稿树、验收规则或一次提出的候选结构上有所变化。

若算法不再是单链 $K$ 个草稿，输出上界需要按其实际验证图重新计算，不能机械套用 $K+1$。

上一课已经得到最好情况：Draft 提出 $K$ 个候选且全部通过时，Target 可再从最后一份分布采样奖励 token，一轮最多提交 $K+1$ 个。

本课看相反极端：第一个草稿就被拒绝。

直觉上，既然草稿一个都不能用，这轮似乎会“白跑”。

但 Target 的批量验收已经为第一个位置算出了真实分布，精确拒绝重采样可以据此产生替代 token，所以进度不会归零。

设当前已确认前缀为 $x_{\le t}$，Draft 分布为 $q$，Target 分布为 $p$。

Draft 串行提出

Target 随后一次计算锚点与这些候选位置。

于是 Target 得到

其中 $p_i$ 用于判断候选 $y_i$ 是否可以接受。

若 $y_1$ 被拒，真正输出的第一个新 token 就不会是 $y_1$。

而 $y_2$ 是 Draft 在“前一个 token 等于 $y_1$”的条件下生成的：

一旦 $y_1$ 被替换，$y_2$ 所依赖的上下文分支就不再存在。

同理，$y_3$ 到 $y_K$ 也都沿着被拒绝的分支生成，不能跳过 $y_1$ 后继续提交。

所以从“接受草稿数量”看，首个候选被拒确实是零。

Target 在验收批次里已经算出

它只依赖已确认前缀，不依赖被拒的 $y_1$。

因此即使整条 Draft 尾部失效，$p_1$ 仍是合法的 Target 下一 token 分布。

这就是最坏路径仍能推进的计算基础。

视频把拒绝后的动作概括为：利用 Target 已经算出的概率，重新采样一个 token，尤其补偿 Draft 低估的 token。

这个替代 token 取代 $y_1$，成为本轮唯一提交的新 token。

下一轮再从它之后继续生成。

下面给出经典精确投机采样的标准写法，作为视频直觉的公式补全。

若 Draft 从 $q_i$ 提出 $y_i$，常见接受概率为

若候选被拒，替代 token 不是无条件再从 $p_i$ 抽一次，而是从残差分布采样：

其中 $[a]_+=\max(a,0)$。

这个修正恰好把 Draft 过度提出的概率质量扣掉，把质量补到 Draft 相对低估的 token 上。

将“接受 Draft 候选”和“拒绝后从残差重采样”合在一起，最终边缘分布仍与 Target 的 $p_i$ 一致。

这段公式是编者依据经典精确投机采样补充；具体框架可能采用等价实现或不同验收变体。

现在可以分情况证明进度下界。

若 $y_1$ 被接受，则本轮至少已经提交 $y_1$。

若 $y_1$ 被拒，则从 $r_1$ 采样替代 token $z$，本轮提交 $z$。

因此无论第一步接受与否，都会产生一个合法的新 token：

若采样结果是 EOS，它仍是一个生成 token，只是序列随即结束。

以 $K=2$ 为例，Target 输入锚点加两个草稿，会得到三份分布。

最好情况使用三份分布，提交 $y_1,y_2$ 与奖励 token。

最坏情况只使用 $p_1$ 对应的验收与残差分布，提交一个替代 token。

因此一轮产出范围是 1 到 $K+1$，实际值取决于第一个拒绝位置。

视频还回顾了一个实现技巧：Target 先生成锚点，再把它追加到 Draft Prefill 输入。

这样 Draft Prefill 的最后一行可直接产生 $y_1$，省去一次独立 Draft Decode。

这项优化改变的是草稿生成的调度成本，不改变“拒绝后至少输出一个 token”的概率正确性证明。

后面的课程会单独分析它的前提和版本边界。

“每轮至少一个 token”只说明算法不会因为拒绝而原地踏步。

若 Draft 与 Target 分布差异大，接受率低，许多轮都只输出一个 token，却仍付出 Draft 生成和 Target 批量验收的额外成本。

端到端是否加速还取决于：

进度正确性与系统加速是两个不同结论。

本课的残差公式针对经典“保持 Target 分布不变”的精确投机采样。

某些近似解码、树状草稿、贪心验收或框架特定算法会使用不同规则。

判断实现时应查对应版本的验收代码或论文，不能只凭“speculative decoding”这一名称断定公式完全相同。