Training language models to follow instructions
with human feedback

大型语言模型（LMs）可以被“提示”以执行一系列自然语言处理（NLP）任务，给定一些任务示例作为输入。然而，这些模型经常表现出非预期行为，如编造事实、生成有偏见或有毒文本，或根本不遵循用户指令(Bender et al., 2021; Bommasani et al., 2021; Kenton et al., 2021; Weidinger et al., 2021; Tamkin et al., 2021; Gehman et al., 2020)。 这是因为许多近期大型LM使用的语言建模目标——预测互联网网页上的下一个标记——与“有帮助且安全地遵循用户指令”的目标不同(Radford et al., 2019; Brown et al., 2020; Fedus et al., 2021; Rae et al., 2021; Thoppilan et al., 2022)。 因此，我们说语言建模目标是未对齐的。避免这些非预期行为对于部署并在数百个应用中使用的语言模型尤为重要。

我们通过训练语言模型按照用户的意图行事来在对齐方面取得进展(Leike et al., 2018)。这包括显式意图，如遵循指令，以及隐式意图，如保持真实，不带有偏见、有毒或其他有害。使用语言(Askell et al., 2021)，我们希望语言模型能够有帮助（它们应该帮助用户解决他们的任务），诚实（它们不应该编造信息或误导用户），并且无害的（它们不应对人或环境造成身体、心理或社会伤害）。我们在第3.6.

我们专注于微调方法来对齐语言模型。具体来说，我们使用基于人类反馈的强化学习（RLHF；(Christiano et al., 2017; Stiennon et al., 2020)）来 微调GPT-3，使其遵循广泛类别的书面指令（见图2）。这项技术使用人类的 偏好作为奖励信号来微调我们的模型。我们首先雇佣一个 由40名承包商组成的团队来标注我们的数据，基于他们在 筛选测试中的表现（见第3.4节和 附录B.1以获取更多细节）。我们 然后收集一个由人类编写的演示数据集，展示期望的 输出行为，针对（主要是英文的）提交给OpenAI API的提示¹以及一些标注者编写的提示， 并使用这些数据来训练我们的监督学习基线。接下来，我们 收集一个数据集，包含人类标注的模型输出之间的比较， 针对更大的一组API提示。然后我们训练一个奖励模型（RM） 在这个数据集上，以预测我们的标注者会偏好哪个模型输出。 最后，我们使用这个RM作为奖励函数，并微调我们的 监督学习基线，以使用PPO算法最大化这个奖励(Schulman et al., 2017)。我们在图2中展示了这个过程。这个过程将GPT-3的行为 与特定人群（主要是我们的标注者和研究人员）所表达的偏好对齐， 而不是任何更广泛的“人类价值观”概念；我们将在第5.2节进一步讨论这一点。我们将由此产生的模型称为InstructGPT.

我们主要通过让标注员对我们测试集上的模型输出质量进行评分来评估我们的模型，该测试集包含来自未参与训练数据的保留客户（这些客户未出现在训练数据中）的提示。我们还对一系列公开的NLP数据集进行了自动评估。我们训练了三种模型规模（1.3B、6B和175B参数），所有模型均采用GPT-3架构。我们的主要发现如下：

在我们的测试集上，1.3B参数的InstructGPT模型的输出 比175B的GPT-3更受青睐，尽管参数数量少了100多倍。 这些模型具有相同的架构，唯一区别在于InstructGPT在我们的 人类数据上进行了微调。即使我们给GPT-3添加少样本提示以使其 更好地遵循指令，这一结果仍然成立。我们的175B InstructGPT的输出 在85$\pm$3%的情况下比175B GPT-3的输出更受青睐，并且在71$\pm$4%的时间用于少样本175B GPT-3。根据我们的标注员，InstructGPT模型也生成更合适的输出， 并且更可靠地遵循指令中的明确约束。

在TruthfulQA基准上，InstructGPT生成真实且 信息丰富的答案的频率大约是GPT-3的两倍。我们的结果在 非对抗性选择的针对GPT-3的问题子集上同样强劲。在来自我们API提示 分布的“封闭域”任务中，输出不应包含输入中不存在的信息 （例如摘要和封闭域问答）， InstructGPT模型编造输入中不存在信息的频率大约是GPT-3的一半 （分别为21%对41%的幻觉率）。

为了衡量毒性，我们使用了RealToxicityPrompts数据集(Gehman et al., 2020)并 进行自动和人工评估。在被要求保持尊重时，InstructGPT模型产生的有毒输出比GPT-3少约25%。InstructGPT在Winogender(Rudinger et al., 2018)和CrowSPairs(Nangia et al., 2020)数据集上并未显著优于GPT-3。

在RLHF微调期间，我们观察到与GPT-3相比，在某些公共NLP数据集上性能下降，特别是SQuAD(Rajpurkar et al., 2018)、DROP(Dua et al., 2019)、HellaSwag(Zellers et al., 2019)以及WMT 2015法英翻译(Bojar et al., 2015)。这是“对齐税”的一个例子，因为我们的对齐程序以在某些我们可能关心的任务上性能降低为代价。通过将PPO更新与增加预训练分布对数似然的更新（PPO-ptx）混合，我们可以大大减少这些数据集上的性能下降，同时不损害标注者的偏好分数。

为了测试我们模型的泛化能力，我们进行了一项初步实验，使用保留的标注者，发现他们偏好InstructGPT输出的比例与我们的训练标注者大致相同。然而，还需要更多工作来研究这些模型在更广泛的用户群体上的表现，以及它们在人类对期望行为存在分歧的输入上的表现。

我们将基于人类偏好数据微调的GPT-3（即InstructGPT）与基于两个不同的公共NLP任务汇编微调的GPT-3进行比较：FLAN(Wei et al., 2021)和T0(Sanh et al., 2021)（特别是T0++变体）。这些数据集包含各种NLP任务，并为每个任务附带自然语言指令。在我们的API提示分布上，我们的FLAN和T0模型表现略逊于我们的SFT基线，标注者明显更偏好InstructGPT而非这些模型（InstructGPT相对于我们基线的胜率为73.4$\pm 2\%$，而我们版本的T0和FLAN分别为26.8$\pm 2\%$和29.8$\pm 2\%$）。

我们定性探索了InstructGPT的能力，发现它能够遵循总结代码的指令、回答关于代码的问题，有时还能遵循不同语言的指令，尽管这些指令在微调分布中非常罕见。相比之下，GPT-3也能执行这些任务，但需要更仔细的提示，并且通常不会遵循这些领域的指令。这一结果令人兴奋，因为它表明我们的模型能够泛化“遵循指令”的概念。即使在直接监督信号很少的任务上，它们也保持了一定的对齐性。

例如，InstructGPT仍然可能无法遵循指令，编造事实，对简单问题给出冗长的含糊回答，或者无法检测出带有错误前提的指令。

总体而言，我们的结果表明，使用人类偏好对大型语言模型进行微调可以显著改善它们在广泛任务上的行为，尽管在提高其安全性和可靠性方面仍有许多工作要做。

本文的其余部分结构如下：我们首先在第2节详细介绍相关工作，然后深入探讨我们在第3节中的方法和实验细节，包括我们的高层次方法论（3.1）、任务和数据集细节（3.3和3.2）、人类数据收集（3.4），以及我们如何训练模型（3.5），以及我们的评估流程（3.6）。随后，我们在第4节中展示我们的结果，分为三个部分：API提示分布上的结果（4.1）、公开NLP数据集上的结果（4.2），以及定性结果（4.3）。最后，我们在第5节中对我们的工作进行了深入讨论，包括对对齐研究的影响（5.1）、我们正在对齐的内容（5.2）、局限性（5.3）、开放性问题（5.4），以及这项工作的更广泛影响（5.5).

我们基于以往的技术来使模型与人类意图对齐，特别是从人类反馈中进行的强化学习（RLHF）。这项技术最初用于在模拟环境和Atari游戏中训练简单的机器人(Christiano et al., 2017; Ibarz et al., 2018)，最近已被应用于微调语言模型以进行文本摘要(Ziegler et al., 2019; Stiennon et al., 2020; B\"ohm et al., 2019; Wu et al., 2021)。 这项工作同样受到了在对话(Jaques et al., 2019; Yi et al., 2019; Hancock et al., 2019)、翻译(Kreutzer et al., 2018; Bahdanau et al., 2016)、语义解析(Lawrence and Riezler, 2018)、故事生成(Zhou and Xu, 2020)、评论生成等领域使用人类反馈作为奖励的类似工作的影响。(Cho et al., 2018)， 以及证据提取(Perez et al., 2019). (Madaan et al., 2022)使用书面人类反馈来增强提示并提高GPT-3的性能。也有关于在基于文本的环境中使用带有规范性先验的强化学习来对齐智能体的工作(Nahian et al., 2021)。我们的工作可以看作是直接应用RLHF来在广泛的语言任务分布上对齐语言模型。

关于语言模型对齐意味着什么的问题最近也受到了关注(Gabriel, 2020). (Kenton et al., 2021)对语言模型中因不对齐而导致的行为问题进行了分类，包括产生有害内容和利用错误指定的目标。在同时进行的工作中，(Askell et al., 2021)提出将语言助手作为对齐研究的测试平台，研究了一些简单的基线及其扩展特性。

我们的工作也与语言模型中跨任务泛化的研究相关，其中语言模型在广泛的公共NLP数据集上进行微调（通常带有适当的指令前缀），并在不同的NLP任务集上进行评估。这一领域已有大量工作(Yi et al., 2019; Mishra et al., 2021; Wei et al., 2021; Khashabi et al., 2020; Sanh et al., 2021; Aribandi et al., 2021)，它们在训练和评估数据、指令格式、预训练模型大小以及其他实验细节上有所不同。跨研究的一致发现是，在带有指令的多种NLP任务上微调语言模型，可以提高其在保留任务上的下游性能，无论是在零样本还是少样本设置下。

还有一条相关的工作线是关于导航中的指令遵循，其中训练模型遵循自然语言指令在模拟环境中导航(Bahdanau et al., 2018; Abramson et al., 2020; Zhao et al., 2021).

修改语言模型行为的一个目标是在现实世界中部署这些模型时减轻其危害。这些风险已被广泛记录(Bender et al., 2021; Bommasani et al., 2021; Kenton et al., 2021; Weidinger et al., 2021; Tamkin et al., 2021)。 语言模型可能产生有偏见的输出(Dhamala et al., 2021; Liang et al., 2021; Manela et al., 2021; Caliskan et al., 2017; Kirk et al., 2021)， 泄露私人数据(Carlini et al., 2021)，生成 错误信息(Solaiman et al., 2019; Buchanan et al., 2021)，并被恶意使用；如需全面回顾，我们建议读者参阅(Weidinger et al., 2021)。在特定领域部署 语言模型会带来新的风险和挑战，例如在对话系统中(Henderson et al., 2018; Xu et al., 2020; Dinan et al., 2019b)。 有一个新兴但不断发展的领域旨在构建基准来具体评估这些危害，特别是关于毒性(Gehman et al., 2020)， 刻板印象(Nadeem et al., 2020)和社会偏见(Dhamala et al., 2021; Nangia et al., 2020; Rudinger et al., 2018). 在这些问题上取得重大进展是困难的，因为对语言模型行为进行善意的干预可能会产生副作用(Welbl et al., 2021; Blodgett et al., 2020)；例如，为减少语言模型的有害性所做的努力可能会降低它们对来自代表性不足群体的文本进行建模的能力，这是由于训练数据中的偏见相关性(Xu et al., 2021).

有许多方法可以改变语言模型的生成行为。(Solaiman and Dennison, 2021)在小型、针对价值观的数据集上微调语言模型，这提高了模型在问答任务中遵循这些价值观的能力。(Ngo et al., 2021)过滤预训练数据集，移除那些语言模型对一组研究者编写的触发短语具有高条件似然性的文档。在这个过滤后的数据集上训练时，他们的语言模型生成的有害文本较少，但代价是语言建模性能略有下降。(Xu et al., 2020)使用多种方法来提高聊天机器人的安全性，包括数据过滤、在生成过程中阻止某些词或n-gram、安全特定的控制标记(Keskar et al., 2019; Dinan et al., 2019a)，以及人类参与的数据收集(Dinan et al., 2019b)。其他减轻语言模型生成偏见的方法使用词嵌入正则化(Liu et al., 2019; Huang et al., 2019)、数据增强(Liu et al., 2019; Dinan et al., 2019a; Sheng et al., 2019)，空 间投影使敏感令牌上的分布更加 均匀(Liang et al., 2021)， 不同的目标函数(Qian et al., 2019)，或因果中介 分析(Vig et al., 2020)。还有关于 使用第二个（通常 较小）语言模型来引导语言模型生成的工作(Dathathri et al., 2019; Krause et al., 2020)，以及 这个想法的变体已被应用于减少语言模型的毒性(Schick et al., 2021).

我们的方法沿用 Ziegler et al. (2019) 与 Stiennon et al. (2020) 的做法；他们分别把它用于风格续写与摘要任务。我们从预训练语言模型（Radford et al., 2019；Brown et al., 2020；Fedus et al., 2021；Rae et al., 2021；Thoppilan et al., 2022）、希望模型产生对齐输出的提示分布，以及一支训练有素的人类标注团队出发（详见第 3.4 节）。随后执行以下三个步骤（图 2）。

我们的标注员在输入提示分布上提供期望行为的演示（有关此分布的详细信息，请参见第3.2节）。然后我们使用监督学习在监督数据上微调一个预训练的GPT-3模型。

我们收集一个模型输出之间的比较数据集，其中标注员指出对于给定输入他们更偏好哪个输出。然后我们训练一个奖励模型来预测人类偏好的输出。

我们将RM的输出用作标量奖励。我们使用PPO算法微调监督策略以优化此奖励(Schulman et al., 2017).

步骤2和3可以持续迭代；在当前最佳策略上收集更多的比较数据，这些数据用于训练新的RM，然后训练新的策略。在实践中，我们的大部分比较数据来自我们的监督策略，其中一些来自我们的PPO策略。

我们的提示数据集主要由提交给OpenAI API的文本提示组成，特别是那些在Playground界面上使用早期版本InstructGPT模型（通过监督学习在我们演示数据的子集上训练）的提示。²使用Playground的客户被告知，他们的数据可能被用于训练进一步的模型，通过每当使用InstructGPT模型时出现的重复通知。在本文中，我们不使用生产环境中使用API的客户数据。我们通过检查共享长公共前缀的提示来启发式地去重，并将每个用户ID的提示数量限制为200。我们还根据用户ID创建训练、验证和测试分割，以便验证和测试集不包含训练集中用户的数据。为了避免模型学习潜在敏感的客户细节，我们过滤训练分割中的所有提示，以去除个人身份信息（PII）。

为了训练最初的InstructGPT模型，我们要求标注者自己编写提示。这是因为我们需要一个初始的指令式提示来源来启动过程，而这些类型的提示在API上通常不会提交给常规的GPT-3模型。我们要求标注者编写三种类型的提示：

从这些提示中，我们生成了三个用于微调过程的不同数据集：（1）我们的SFT数据集，包含用于训练SFT模型的标注者演示；（2）我们的RM数据集，包含用于训练RM的模型输出的标注者排名；（3）我们的PPO数据集，不包含任何人工标签，用作RLHF微调的输入。SFT数据集包含约13k个训练提示（来自API和标注者编写），RM数据集包含33k个训练提示（来自API和标注者编写），PPO数据集包含31k个训练提示（仅来自API）。关于数据集大小的更多细节见表6.

为展示数据集的构成，表 1 给出了合同标注员对 API 提示（具体为 RM 数据集）标注的用例类别分布。多数用例属于生成任务，而不是分类或问答。我们还在表 2 中展示了一些示例提示（由研究人员编写，用来模拟用户提交给 InstructGPT 模型的提示类型）；更多提交给 InstructGPT 模型的提示见附录 A.2.1，提交给 GPT-3 模型的提示见附录 A.2.2。更多数据集细节见附录 A。

我们的训练任务来自两个来源：（1）由我们的标注员编写的提示数据集，以及（2）提交给早期InstructGPT模型在API上的提示数据集（见表6）。 这些提示非常多样化，包括生成、问答、对话、摘要、提取以及其他自然语言任务（见表1）。 我们的数据集超过96%是英文，但在第4.3节中，我们还探讨了模型用其他语言响应指令以及完成编码任务的能力。

对于每个自然语言提示，任务通常直接通过自然语言指令指定（例如，“写一个关于聪明青蛙的故事”），但也可能通过少样本示例（例如，给出两个青蛙故事的示例，并提示模型生成一个新的）或隐式续写（例如，提供关于青蛙的故事开头）间接指定。在每种情况下，我们要求标注员尽力推断编写提示的用户的意图，并要求他们跳过任务非常不明确的输入。此外，我们的标注员还会根据我们提供的指导（见附录B）以及他们的最佳判断，考虑隐式意图，如响应的真实性，以及潜在有害的输出，如偏见或有毒语言。

为了生成我们的演示和比较数据，并进行主要评估，我们通过Upwork和ScaleAI雇佣了约40名承包商团队。与早期在摘要任务上收集人类偏好数据的工作相比(Ziegler et al., 2019; Stiennon et al., 2020; Wu et al., 2021), 我们的输入涵盖了更广泛的任务范围，有时可能包含有争议和敏感的话题。我们的目标是选择一组对不同人口群体的偏好敏感，并且善于识别可能有害输出的标注者。因此，我们进行了一项筛选测试，旨在衡量标注者在这些方面的表现。我们选择了在此测试中表现良好的标注者；有关我们的选择程序和标注者人口统计的更多信息，请参见附录B.1.

在训练和评估期间，我们的对齐标准可能会发生冲突：例如，当用户请求可能有害的响应时。在训练期间，我们优先考虑对用户的有用性（不这样做需要做出一些困难的设计决策，我们将其留给未来的工作；参见第5.4节进行更多讨论）。然而，在我们的最终评估中，我们要求标注者优先考虑真实性和无害性（因为这是我们真正关心的）。

如(Stiennon et al., 2020)中所述，我们在项目过程中与标注者密切合作。我们有一个入职流程来培训标注者了解项目，并为每项任务编写详细说明（参见附录B.2），并在共享聊天室中回答标注者的问题。

作为初步研究，以了解我们的模型如何推广到其他标注者的偏好，我们聘请了一组单独的标注者，他们不产生任何训练数据。这些标注者来自相同的供应商，但未经过筛选测试。

尽管任务复杂，我们发现标注者之间的 一致性率相当高：训练标注者彼此同意$72.6 \pm 1.5\%$的时间，而 对于保留的标注者，这个数字是$77.3 \pm 1.3\%$。相比之下，在摘要工作中(Stiennon et al., 2020)研究者之间的一致性为$73 \pm 4\%$.

我们从(Brown et al., 2020)的GPT-3预训练语言模型开始。这些模型在广泛的互联网数据分布上进行训练，可适应各种下游任务，但其行为特征描述不足。从这些模型出发，我们使用三种不同的技术训练模型：

我们使用监督学习在标注者的演示上微调GPT-3。我们训练了16个epoch，使用余弦学习率衰减，残差dropout为0.2。我们最终根据验证集上的RM分数选择SFT模型。与(Wu et al., 2021)类似，我们发现SFT模型在1个epoch后验证损失过拟合；然而，我们发现训练更多epoch有助于RM分数和人类偏好评分，尽管存在过拟合。

从移除最终解嵌入层的SFT模型开始，我们训练一个模型来接收提示和响应，并输出标量奖励。在本文中，我们仅使用6B RM，因为这节省了大量计算，并且我们发现175B RM训练可能不稳定，因此不太适合在RL期间用作价值函数（详见附录C）。

在(Stiennon et al., 2020)中， RM在一个数据集上训练，该数据集包含同一输入下两个模型输出的比较。 他们使用交叉熵损失，以比较作为标签——奖励的差异表示人类标注者偏好一个响应而非另一个的对数几率。

为了加快比较收集速度，我们向标注者展示$K=4$到$K=9$个响应进行排序。这为每个 展示给标注者的提示产生了${K \choose 2}$个比较。由于每个标注任务内的比较高度相关，我们发现如果简单地将比较混入一个数据集，对数据集的一次遍历会导致奖励模型过拟合。³相反，我们将每个提示的所有${K \choose 2}$个比较作为单个批次元素进行训练。这在计算上更加高效，因为每个完成只需对RM进行一次前向传播（而不是对${K \choose 2}$个完成进行$K$次前向传播），并且由于不再过拟合，它实现了显著改进的验证准确率和对数损失。

具体来说，奖励模型的损失函数为：

其中$r_{\theta}(x, y)$是奖励模型对提示$x$和完成$y$的标量输出，参数为$\theta$, $y_{w}$是$y_{w}$和$y_{l}$这对完成中更受偏好的完成，而$D$是人类比较的数据集。

最后，由于RM损失对奖励的平移不变，我们在进行RL之前，使用一个偏置来归一化奖励模型，使得标注者的示范获得平均分数0。

再次遵循(Stiennon et al., 2020)，我们使用PPO在我们的环境上对SFT模型进行了微调(Schulman et al., 2017). 环境是一个老虎机 环境，它呈现一个随机的客户提示，并期望对 提示做出响应。给定提示和响应，它产生一个由奖励模型确定的 奖励，并结束该回合。此外， 我们在每个token上从SFT模型添加一个逐token的KL惩罚，以 缓解奖励模型的过度优化。价值函数 从RM初始化。我们将这些模型称为“PPO”。

我们还尝试将预训练梯度混合到PPO 梯度中，以修复在公共NLP 数据集上的性能回归。我们将这些模型称为“PPO-ptx”。我们在RL训练中最大化以下 组合目标函数：

其中$\pi_{\phi}^{\mathrm{RL}}$是学习到的RL策略，$\pi^{\mathrm{SFT}}$是监督 训练的模型，而$D_\textrm{pretrain}$是预训练 分布。KL奖励系数，$\beta$，和预训练损失 系数，$\gamma$，分别控制 KL惩罚和预训练梯度的强度。对于 “PPO”模型，$\gamma$设置为0。 除非另有说明，在本文中，InstructGPT指的是 PPO-ptx模型。

我们将我们的PPO模型的性能与我们的SFT模型以及GPT-3进行比较。我们还将GPT-3与提供少量样本前缀以‘提示’其进入指令跟随模式（GPT-3-prompted）的情况进行比较。此前缀被添加到用户指定的指令之前。⁴

我们还将InstructGPT与在FLAN(Wei et al., 2021)和T0(Sanh et al., 2021)数据集上微调的175B GPT-3进行比较，这两个数据集都包含各种NLP任务，并为每个任务结合了自然语言指令（数据集在包含的NLP数据集和使用的指令风格上有所不同）。我们分别在约100万个示例上对它们进行微调，并选择在验证集上获得最高奖励模型分数的检查点。更多训练细节见附录C。

为了评估我们的模型“对齐”程度，我们首先需要澄清在此上下文中对齐的含义。对齐的定义历来是一个模糊且令人困惑的话题，存在各种相互竞争的提议(Chen et al., 2021; Leike et al., 2018; Gabriel, 2020)。遵循(Leike et al., 2018)，我们的目标是训练符合用户意图的模型。更实际地，对于我们的语言任务，我们使用类似于(Askell et al., 2021)的框架，该框架将模型定义为对齐的，如果它们是有帮助的、诚实的和无害的。

为了提供帮助，模型应遵循指令，但也应从少样本提示或其他可解释的模式（如“Q: {question}\nA:”）中推断意图。由于给定提示的意图可能不明确或含糊，我们依赖标注者的判断，我们的主要指标是标注者的偏好评分。然而，由于我们的标注者并非生成提示的用户，因此用户实际意图与标注者仅通过阅读提示所理解的意图之间可能存在差异。

在纯生成模型中，衡量诚实性尚不明确；这需要将模型的实际输出与其对正确输出的“信念”进行比较，而由于模型是一个巨大的黑箱，我们无法推断其信念。相反，我们使用两个指标来衡量真实性——即模型关于世界的陈述是否真实：（1）评估我们的模型在封闭领域任务上编造信息的倾向（“幻觉”），以及（2）使用TruthfulQA数据集(Lin et al., 2021)。不用说，这仅捕捉了真实性实际含义的一小部分。

与诚实性类似，衡量语言模型的危害也面临许多挑战。在大多数情况下，语言模型的危害取决于其输出在现实世界中的使用方式。例如，生成有毒输出的模型在部署的聊天机器人环境中可能有害，但如果用于数据增强以训练更准确的有毒检测模型，甚至可能有益。在项目早期，我们让标注者评估输出是否“潜在有害”。然而，我们停止了这种做法，因为这需要对输出最终将如何使用进行过多推测；尤其是因为我们的数据也来自与Playground API界面交互的客户（而非生产用例）。

因此，我们使用一套更具体的代理标准，旨在捕捉部署模型中可能最终有害的不同行为方面：我们让标注者评估输出在客户助手的上下文中是否不当、是否贬低受保护群体，或是否包含色情或暴力内容。我们还在旨在衡量偏见和毒性的数据集上对我们的模型进行基准测试，例如RealToxicityPrompts(Gehman et al., 2020)和CrowS-Pairs(Nangia et al., 2020).

总而言之，我们可以将我们的定量评估分为两个独立部分：

我们的主要指标是在与训练分布相同来源的保留提示集上的人类偏好评分。当使用API中的提示进行评估时，我们只选择那些未包含在训练中的客户提示。然而，鉴于我们的训练提示旨在与InstructGPT模型一起使用，它们很可能对GPT-3基线不利。因此，我们还评估了提交给API上GPT-3模型的提示；这些提示通常不是“指令遵循”风格，而是专门为GPT-3设计的。在这两种情况下，对于每个模型，我们计算其输出相对于基线策略被偏好的频率；我们选择175B SFT模型作为基线，因为其性能接近中间水平。此外，我们要求标注员对每个响应的整体质量按1-7李克特量表进行评分，并为每个模型输出收集一系列元数据（见表3）。

我们评估两类公共数据集：一类捕捉语言模型安全的方面，特别是真实性、毒性和偏见；另一类捕捉传统NLP任务（如问答、阅读理解和摘要）上的零样本性能。我们还在RealToxicityPrompts数据集上进行了毒性的人类评估(Gehman et al., 2020)。我们正在发布我们模型在所有基于采样的NLP任务上的样本。⁵

在本节中，我们提供了我们在第1节中主张的实验证据，分为三个部分：API提示分布上的结果、公共NLP数据集上的结果以及定性结果。

在我们的测试提示集上，我们的标注者明显更喜欢 各种模型大小的InstructGPT输出。这些结果显示在图1。我们发现GPT-3输出表现 最差，通过使用精心设计的少样本提示（GPT-3（提示））可以获得显著的步长改进，然后通过监督学习（SFT）在演示上进行训练，最后通过PPO在比较数据上进行训练。在PPO期间添加预训练混合的更新不会导致标注者偏好的大变化。为了说明我们改进的幅度：直接比较时，175B InstructGPT输出在85$\pm$3%的情况下被偏好于GPT-3输出，并且在71$\pm$4%的情况下被偏好于少样本 GPT-3。

我们还发现，当在API上提交给GPT-3模型的提示上评估时，我们的结果没有显著变化（见图3），尽管我们的PPO-ptx 模型在更大的模型大小上表现稍差。

在图4我们表明，标注者还对InstructGPT的输出在几个更具体的方面给予好评。具体来说，与GPT-3相比，InstructGPT的输出在客户助手的场景中更合适，更经常遵循指令中定义的明确约束（例如“用不超过两段话写出你的答案。”），更少可能完全无法遵循正确的指令，并且在封闭域任务中编造事实（“幻觉”）的频率更低。这些结果表明，InstructGPT模型比GPT-3更可靠且更易于控制。我们发现，在我们的API中，其他元数据类别出现频率过低，无法在模型之间获得统计上显著的差异。

留出标注者与我们用于生成训练数据的工具有相似的排序偏好（见图3）。特别是，根据留出工人的评价，我们所有的InstructGPT模型仍然大大优于GPT-3基线。因此，我们的InstructGPT模型并非简单地过拟合于我们训练标注者的偏好。

我们从奖励模型的泛化能力中看到了进一步的证据。我们进行了一项实验，将标注者分成5组，并使用5折交叉验证（在4组上训练，在留出组上评估）训练5个奖励模型（使用3个不同的种子）。这些奖励模型在预测留出组标注者偏好方面的准确率为69.6$\pm$±0.9%，相比其在训练集上预测标注者偏好的72.4$\pm$±0.4%准确率略有下降。

在图5，我们还将InstructGPT与在FLAN(Wei et al., 2021)和T0(Sanh et al., 2021)数据集上微调的175B GPT-3基线进行了比较（详见附录C）。我们发现这些模型的表现优于GPT-3，与精心选择提示的GPT-3相当，但不如我们的SFT基线。这表明这些数据集不够多样化，无法提高我们在API提示分布上的性能。在直接比较中，我们的175B InstructGPT模型的输出在78$\pm$4%的情况下优于FLAN模型，在79$\pm$4%的情况下优于T0模型。这些模型的Likert分数如图5.

所示。我们认为我们的InstructGPT模型优于FLAN和T0有两个原因。首先，公共NLP数据集旨在捕获易于使用自动指标评估的任务，如分类、问答，以及一定程度的摘要和翻译。然而，分类和问答仅占API客户使用我们语言模型的一小部分（约18%），而开放式生成和头脑风暴根据标注者约占我们提示数据集的57%（见表1）。其次，公共NLP数据集很难获得非常高的输入多样性（至少，在真实世界用户可能感兴趣使用的输入类型上）。当然，NLP数据集中发现的任务确实代表了我们希望语言模型能够解决的一种指令，因此最广泛的指令跟随模型将结合这两种类型的数据集。

根据TruthfulQA数据集上的人工评估，我们的PPO 模型在生成真实且信息丰富的输出方面相比GPT-3有微小但显著的改进（见图6）。这是默认行为： 我们的模型不需要特别指示要讲真话就能表现出改进的真实性。有趣的是，例外是我们的 1.3B PPO-ptx模型，其表现略逊于同尺寸的GPT-3模型。当仅针对非对抗性选择的提示进行评估时，我们的PPO模型仍然比GPT-3显著更真实和信息丰富（尽管绝对改进减少了几个百分点）。

遵循(Lin et al., 2021)，我们还提供了一个有用的 “指令+问答”提示，指示模型在不确定正确答案时回答“我无可奉告”。在这种情况下，我们的PPO模型倾向于真实但不提供信息，而不是自信地说出虚假内容；基线GPT-3模型在这方面表现不佳。

我们真实性的改进也体现在我们的PPO模型在API分布中的封闭域任务上较少产生幻觉（即编造信息），这已在图 4 中展示。

我们首先在RealToxicityPrompts数据集上评估我们的模型(Gehman et al., 2020)。我们 通过两种方式进行：我们将模型样本通过Perspective API运行⁶以获得自动毒性评分， 这是该数据集的标准评估程序，同时我们也将这些样本发送给标注员，以获得关于绝对毒性、 相对于提示的毒性、连贯性以及整体输出偏好的评分。我们根据提示毒性均匀地从该数据集中采样提示， 以更好地评估我们的模型在高输入毒性下的表现（见图39， 附录E）；这与该数据集的标准提示采样不同，因此我们的绝对毒性数字 被夸大了。

我们的结果如图7所示。我们发现，当被要求生成安全且尊重的输出（“尊重提示”）时，根据Perspective API，InstructGPT模型产生的有毒输出少于GPT-3。当移除尊重提示（“无提示”）时，这一优势消失。有趣的是，当明确提示生成有毒输出时，InstructGPT的输出比GPT-3的有毒得多（见图39）。

这些结果也得到人工评估的印证：在“respectful prompt”设置下，InstructGPT 的毒性低于 GPT-3；在“no prompt”设置下，两者表现相近。扩展结果见附录 E。概括而言：所有模型的毒性评分都低于提示所预期的水平（量表范围为 -1 到 1，0 表示“与预期毒性大致相当”）。SFT baseline 是所有模型中毒性最低的，但其连续性也最低、在排序中最不受偏好；这可能说明模型生成了非常短或退化的回答。

为了评估模型生成偏见言论的倾向（见附录E），我们还在Winogender(Rudinger et al., 2018)和CrowS-Pairs(Nangia et al., 2020)数据集的修改版本上评估了InstructGPT。这些数据集由成对的句子组成，可以突出潜在的偏见。我们计算生成每对句子的相对概率以及相关二元概率分布的熵（以比特为单位）。完全无偏的模型在每对句子之间不会有偏好，因此将具有最大熵。根据这个指标，我们的模型并不比GPT-3更少偏见。PPO-ptx模型显示出与GPT-3相似的偏见，但当被指示要尊重时，它表现出更低的熵，从而更高的偏见。偏见的模式并不清晰；似乎被指示的模型对其输出更加确定，无论其输出是否表现出刻板行为。

默认情况下，当我们在API分布上训练PPO模型时，它会遭受“对齐税”，因为它在几个公共NLP数据集上的性能会下降。我们希望有一种避免对齐税的对齐程序，因为它激励使用未对齐但在这些任务上更有能力的模型。

在图29中，我们展示了在PPO微调（PPO-ptx）中加入预训练更新可以缓解所有数据集上的这些性能下降，甚至在HellaSwag上超过了GPT-3。PPO-ptx模型的性能在DROP、SQuADv2和翻译方面仍然落后于GPT-3；需要更多的工作来研究和进一步消除这些性能下降。

混合预训练更新比增加KL系数的简单解决方案效果更好。在图33中，我们展示了存在一个预训练混合系数值，它既能逆转SQuADv2和DROP（我们用于测试的数据集）上的性能下降，又能最小化验证奖励的减少。相比之下，增加KL系数（图34）会导致验证奖励显著下降，并且从未在DROP和SQuAD上完全恢复。将KL模型从PPO初始模型改为GPT-3会得到类似的结果。

特别是，我们发现InstructGPT能够遵循非英语语言的指令，并执行代码的摘要和问答。这很有趣，因为非英语语言和代码只占我们微调数据的极小部分，⁷这表明在某些情况下，对齐方法可以泛化到在人类未直接监督的输入上产生期望的行为。

我们不定量跟踪这些行为，但在图 中展示了一些定性示例。8. 我们的175B PPO-ptx模型能够可靠地回答关于代码的问题，并且也能遵循其他语言的指令；然而，我们注意到，即使指令是其他语言，它也经常输出英文。相比之下，我们发现GPT-3可以执行这些任务，但需要更仔细的提示，并且很少遵循这些领域的指令。

在与我们的175B PPO-ptx模型交互时，我们注意到它尽管在许多不同的语言任务上表现强劲，但仍然会犯简单错误。举几个例子：（1）当给出一个带有错误前提的指令时，模型有时会错误地假设前提为真；（2）模型可能过度回避；当被问及一个简单问题时，它有时会说这个问题没有唯一答案，并给出多个可能的答案，即使从上下文来看有一个相当明确的答案；（3）当指令包含多个明确约束（例如“列出10部1930年代在法国拍摄的电影”）或约束对语言模型来说具有挑战性时（例如以指定句子数量写摘要），模型的表现会下降。

我们在图9。我们怀疑行为（2） 部分出现是因为我们指示标注者奖励认识论上的 谦逊；因此，他们可能倾向于奖励含糊其辞的输出，而这 被我们的奖励模型捕捉到。我们怀疑行为（1）出现 是因为训练集中很少有假设错误 前提的提示，而我们的模型不能很好地泛化到这些例子。我们 相信这两种行为都可以通过对抗性数据收集大幅减少(Dinan et al., 2019b).

这项研究是我们更广泛的研究计划的一部分，旨在使AI 系统与人类意图对齐(Christiano et al., 2017; Ziegler et al., 2019; Stiennon et al., 2020)。 尽管这项工作聚焦于我们当前的语言模型系统，我们 寻求适用于未来AI系统的通用且可扩展的方法(Leike et al., 2018). 我们在这里处理的系统仍然相当有限，但它们是当今最大的语言模型之一，我们将它们应用于广泛的语言任务，包括分类、摘要、问答、创意写作、对话等。

我们在这项工作中的对齐研究方法是以迭代方式进行的：我们正在改进当前AI系统的对齐，而不是抽象地关注对齐尚不存在的AI系统。这种方法的缺点是，我们没有直接面对仅在对齐超人系统时才会出现的对齐问题。(Bostrom, 2014)然而，我们的方法确实为我们提供了一个清晰的实证反馈循环，告诉我们什么有效，什么无效。我们相信，这个反馈循环对于完善我们的对齐技术至关重要，并且它迫使我们跟上机器学习的进展。此外，我们在这里使用的对齐技术，RLHF，是几个对齐超人系统提案中的重要组成部分。(Leike et al., 2018; Irving et al., 2018; Christiano et al., 2018)例如，RLHF是最近在书籍摘要工作中的核心方法，这项任务表现出对齐超人AI系统的一些困难，因为人类难以直接评估。(Wu et al., 2021).

从这项工作中，我们可以为更广泛的对齐研究汲取教训：

在将语言模型与人类意图对齐时，其最终行为是底层模型（及其训练数据）、微调数据和对齐方法的函数。在本节中，我们描述了一些影响微调数据的因素，以最终确定我们在与什么以及谁对齐。然后，在我们更广泛地讨论我们工作的局限性之前，我们考虑了改进的领域，见第5.3.

文献中经常使用“人类偏好”或“人类价值观”等术语来框定对齐。在这项工作中，我们与一组标注者的偏好对齐，这些偏好受到他们收到的指令、他们接收指令的上下文（作为有偿工作）以及他们从谁那里收到指令等因素的影响。一些重要的注意事项适用：

首先，我们与训练标注者提供的演示和偏好对齐，他们直接产生我们用于微调模型的数据。我们在附录B中描述了我们的标注者招聘流程和人口统计；总的来说，他们主要是居住在美国或东南亚的讲英语的人，通过Upwork或Scale AI雇佣。他们在许多示例上意见不一；我们发现标注者之间的协议约为73%。

其次，我们与设计这项研究的研究人员的偏好对齐（因此间接与我们的更广泛研究组织OpenAI对齐）：我们编写标注指令，标注者将其作为编写演示和选择首选输出的指南，并且我们在共享聊天室中回答他们关于边缘情况的问题。需要更多研究来了解不同的指令集和界面设计对从标注者收集的数据及其对模型行为的最终影响的确切效果。

第三，我们的训练数据由OpenAI客户发送给OpenAI API Playground上模型的提示决定，因此我们隐含地与客户认为有价值的东西对齐，在某些情况下，与他们的最终用户认为当前使用API有价值的东西对齐。客户及其最终用户可能意见不一，或者客户可能没有优化最终用户的福祉；例如，客户可能希望模型最大化用户在平台上花费的时间，这不一定是最终用户想要的。在实践中，我们的标注者无法看到给定提示或完成将被查看的上下文。

第四，OpenAI的客户并不代表语言模型的所有潜在或当前用户——更不用说受语言模型使用影响的所有个人和群体了。在这个项目的大部分时间里，OpenAI API的用户是从候补名单中选出的。这个候补名单的最初种子是OpenAI员工，这使最终群体偏向于我们自己的网络。

退一步说，设计一个公平、透明且具有适当问责机制的校准过程存在许多困难。本文的目标是证明这种校准技术可以针对特定应用校准到特定的人类参考群体。我们并不声称研究人员、我们雇佣的标注者或我们的API客户是偏好的正确来源。需要考虑许多利益相关者——训练模型的组织、使用模型开发产品的客户、这些产品的最终用户，以及可能直接或间接受影响的更广泛人群。这不仅仅是让校准过程更具参与性的问题；不可能训练出一个同时符合所有人偏好的系统，或者让每个人都认可其中的权衡取舍。

一条可能的出路是训练能够以某些群体的偏好为条件的模型，或者可以轻松微调或提示以代表不同群体的模型。然后，不同的模型可以被认可不同价值观的群体部署和使用。然而，这些模型可能最终仍会影响更广泛的社会，并且需要做出许多艰难的决定，涉及以谁的偏好为条件，以及如何确保所有群体都能被代表，并能选择退出可能有害的过程。

我们的InstructGPT模型的行为部分取决于从我们的承包商那里获得的人类反馈。一些标注任务依赖于价值判断，这些判断可能受到我们承包商的身份、信仰、文化背景和个人经历的影响。我们雇佣了大约40名承包商，根据他们在旨在评估其识别和回应敏感提示能力的筛选测试中的表现，以及他们在有详细说明的标注任务中与研究人员的共识率（见附录B）。我们保持承包商团队规模较小，因为这有利于与少数全职从事该任务的承包商进行高带宽沟通。然而，这个群体显然不能代表将使用我们部署的模型并受其影响的全部人群。举个简单的例子，我们的标注者主要说英语，我们的数据几乎全部由英语指令组成。

我们的数据收集设置也有许多可以改进的地方。例如，出于成本原因，大多数比较只由1名承包商标注。对示例进行多次标注可以帮助识别承包商之间存在分歧的领域，从而识别出单一模型不太可能符合所有承包商偏好的领域。在存在分歧的情况下，对齐到平均标注者偏好可能并不可取。例如，在生成对少数群体影响不成比例的文字时，我们可能希望该群体标注者的偏好被赋予更大的权重。

我们的模型既没有完全对齐，也没有完全安全；它们仍然会生成有毒或有偏见的输出，编造事实，并在没有明确提示的情况下生成性和暴力内容。它们也可能在某些输入上无法生成合理的输出；我们在图9.

也许我们的模型最大的局限在于，在大多数情况下，它们会遵循用户的指令，即使这可能在现实世界中导致伤害。例如，当给出一个指示模型尽可能有偏见的提示时，InstructGPT 生成的毒性输出比同等规模的 GPT-3 模型更多。我们将在以下部分讨论潜在的缓解措施。

这项工作是朝着使用对齐技术微调语言模型以遵循广泛指令迈出的第一步。还有许多开放问题需要探索，以进一步使语言模型的行为与人们真正希望它们做的事情保持一致。

可以尝试许多方法来进一步减少模型生成有毒、有偏见或其他有害输出的倾向。例如，可以使用对抗性设置，让标注者找出模型的最坏情况行为，然后将其标注并添加到数据集中(Dinan et al., 2019b)。 我们也可以将我们的方法与过滤预训练数据的方法相结合(Ngo et al., 2021)， 无论是用于训练初始预训练模型，还是用于我们预训练混合方法所使用的数据。同样，我们可以将我们的方法与提高模型真实性的方法相结合，例如 WebGPT(Nakano et al., 2021).

在这项工作中，如果用户请求可能有害或不诚实的回应，我们允许我们的模型生成这些输出。训练我们的模型在用户指令下保持无害是重要的，但也很难，因为输出是否有害取决于其部署的上下文；例如，使用语言模型生成有毒输出作为数据增强流程的一部分可能是有益的。我们的技术也可以应用于让模型拒绝某些用户指令，我们计划在后续的研究迭代中探索这一点。

让模型做我们想做的事情与可操控性和可控性文献直接相关(Dathathri et al., 2019; Krause et al., 2020)。一个有前景的未来方向是将 RLHF 与其他可操控性方法相结合，例如使用控制代码(Keskar et al., 2019)，或在推理时使用较小的模型修改采样过程(Dathathri et al., 2019).

虽然我们主要关注RLHF，但还有许多其他算法可以用于在我们的演示和比较数据上训练策略，以获得更好的结果。例如，可以探索专家迭代(Anthony et al., 2017; Silver et al., 2017)，或使用比较数据子集的更简单的行为克隆方法。也可以尝试约束优化方法(Achiam et al., 2017)，这些方法在生成少量有害行为的前提下最大化奖励模型的得分。

比较也不一定是提供对齐信号的最有效方式。例如，我们可以让标注者编辑模型响应以使其更好，或用自然语言生成对模型响应的批评。在设计标注者向语言模型提供反馈的界面方面也有大量选择；这是一个有趣的人机交互问题。

我们提出的通过将预训练数据纳入RLHF微调来减轻对齐税的方法并不能完全消除性能退化，并且可能使某些任务中某些不良行为更有可能发生（如果这些行为存在于预训练数据中）。这是一个值得进一步研究的有趣领域。另一个可能改进我们方法的修改是过滤预训练混合数据中的有毒内容(Ngo et al., 2021)，或者用合成指令来扩充这些数据。

正如在(Gabriel, 2020)中详细讨论的那样，在遵循指令、意图、显露的偏好、理想的偏好、利益和价值观之间存在着微妙的差异。(Gabriel, 2020)主张采用基于原则的对齐方法：换句话说，就是确定“能够获得反思性认可尽管人们的道德信念存在广泛差异的对齐公平原则”。在我们的论文中，我们为了简单起见对齐到推断的用户意图，但这一领域还需要更多研究。实际上，最大的开放性问题之一是如何设计一个透明、有意义地代表受技术影响的人群、并以一种能在众多群体中达成广泛共识的方式综合人们价值观的对齐过程。我们在第5.2.

这项工作的动机是，我们希望增强大型语言模型的正面影响，通过训练它们去做给定一组人类希望它们做的事情。默认情况下，语言模型优化的是下一个词的预测目标，这仅仅是我们希望这些模型做什么的一个代理。我们的结果表明，我们的技术有望让语言模型更有帮助、更真实、更无害。从长远来看，对齐失败可能导致更严重的后果，特别是如果这些模型被部署在安全关键的场景中。我们预期，随着模型规模的扩大，必须更加小心以确保它们与人类意图对齐。(Bostrom, 2014).

然而，让语言模型更好地遵循用户意图也使得它们更容易被滥用。使用这些模型生成有说服力的错误信息，或仇恨或辱骂性内容可能会更容易。

对齐技术并不是解决大型语言模型相关安全问题的万能药；相反，它们应该作为更广泛安全生态系统中的一个工具使用。除了故意滥用之外，还有许多领域应该极其谨慎地部署大型语言模型，或者根本不部署。例如，高风险领域如医疗诊断、基于受保护特征对人进行分类、确定信贷、就业或住房资格、生成政治广告以及执法。如果这些模型开源，在没有适当监管的情况下，限制在这些及其他领域的有害应用将变得具有挑战性。另一方面，如果大型语言模型的访问仅限于少数拥有训练所需资源的组织，这将使大多数人无法接触到前沿的机器学习技术。另一种选择是，一个组织拥有模型部署的端到端基础设施，并通过API提供访问。这允许实施安全协议，如用例限制（仅允许模型用于某些应用）、监控滥用并撤销滥用系统者的访问权限，以及速率限制以防止大规模错误信息的生成。然而，这可能以降低透明度和增加权力集中为代价，因为它要求API提供商就每个问题如何划定界限做出决策。

最后，如第5.2节所述，这些模型与谁对齐的问题极其重要，并将显著影响这些模型的净影响是正面还是负面。

首先，我们要感谢Lilian Weng、Jason Kwon、Boris Power、Che Chang、Josh Achiam、Steven Adler、Gretchen Krueger、Miles Brundage、Tyna Eloundou、Gillian Hadfield、Irene Soliaman、Christy Dennison、Daniel Ziegler、William Saunders、Beth Barnes、Cathy Yeh、Nick Cammaratta、Jonathan Ward、Matt Knight、Pranav Shyam、Alec Radford以及OpenAI的其他人在项目过程中的讨论，这些讨论帮助塑造了我们的研究方向。我们感谢Brian Green、Irina Raicu、Subbu Vincent、Varoon Mathur、Kate Crawford、Su Lin Blodgett、Bertie Vidgen和Paul Röttger对我们的方法进行的讨论和反馈。最后，我们感谢Sam Bowman、Matthew Rahtz、Ben Mann、Liam Fedus、Helen Ngo、Josh Achiam、Leo Gao、Jared Kaplan、Cathy Yeh、Miles Brundage、Gillian Hadfield、Cooper Raterink、Gretchen Krueger、Tyna Eloundou、Rafal Jakubanis和Steven Adler对本文的反馈。我们还要感谢Owain Evans和Stephanie Lin指出自动TruthfulQA指标夸大了我们PPO模型的收益。

感谢那些以各种方式为我们模型的训练和部署所使用的基础设施做出贡献的人，包括：Daniel Ziegler、William Saunders、Brooke Chan、Dave Cummings、Chris Hesse、Shantanu Jain、Michael Petrov、Greg Brockman、Felipe Such、Alethea Power以及整个OpenAI超算团队。我们还要感谢Suchir Balaji在重新校准方面的帮助，感谢Alper Ercetin和Justin Wang设计了本文的主要图表，以及感谢OpenAI通讯团队在发布方面的帮助，包括：Steve Dowling、Hannah Wong、Natalie Summers和Elie Georges。

最后，我们要感谢我们的标注员，没有他们这项工作就不可能完成：Meave Fryer、Sara Tirmizi、James Carroll、Jian Ouyang、Michelle Brothers、Conor Agnew、Joe Kwon、John Morton、Emma Duncan、Delia Randolph、Kaylee Weeks、Alexej Savreux、Siam Ahsan、Rashed Sorwar、Atresha Singh、Muhaiminul Rukshat、Caroline Oliveira、Juan Pablo Castaño Rendón、Atqiya Abida Anjum、Tinashe Mapolisa、Celeste Fejzo、Caio Oleskovicz、Salahuddin Ahmed、Elena Green、Ben Harmelin、Vladan Djordjevic、Victoria Ebbets、Melissa Mejia、Emill Jayson Caypuno、Rachelle Froyalde、Russell M. Bernandez、Jennifer Brillo、Jacob Bryan、Carla Rodriguez、Evgeniya Rabinovich、Morris Stuttard、Rachelle Froyalde、Roxanne Addison、Sarah Nogly、Chait Singh。

我们首先给出关于提示引导过程的更多细节。如前所述，在项目的大部分时间里，我们直接从OpenAI API中指令测试版模型的外部用户那里获取提示。然而，这种策略只有在你有接受类似指令提示的模型时才有效。为了训练第一个这样的模型，我们要求承包商自己编写提示。我们要求标注员编写三种类型的提示：

为了保持应用程序信息的匿名性，我们让另一位标注者通过查看应用程序列表来创建模糊的高层任务，修改任务描述以消除任何特定于某个应用程序的信息。这些数据用于通过监督学习训练第一个InstructGPT模型，该模型于2021年初在API中作为beta版部署。

对于API提示，我们使用用户在上述早期版本的InstructGPT模型上通过OpenAI API Playground提交的提示。在整个论文中，我们只使用来自Playground的数据，而不是客户在生产中使用我们的模型，因为更容易获得知情同意：每次用户切换到InstructGPT模型时，都会弹出一条警告消息，说明提交给这些模型的提示可能用于训练我们模型的未来版本。我们还在启动InstructGPT模型beta版时通过开发者Slack频道上的消息传达了这一点。我们过滤掉训练分割中包含个人身份信息（PII）的提示。

为了确保用例的多样性，我们通过检查共享长公共前缀的提示进行启发式去重，并将每个组织的提示数量限制为大约200个。此外，我们根据组织ID创建训练、验证和测试分割，以便例如验证集包含与训练集不同的用例。

我们将API请求概念化为属于十个用例之一：生成、开放问答、封闭问答、头脑风暴、聊天、重写、摘要、分类、提取或其他。下面，我们展示来自各种用例的虚构但真实的提示：

接下来，我们列出一些针对每个用例类别的API请求示意图，这些请求是提交给GPT-3模型的。这些通常不太像“指令式”，而包含更明确的提示。请注意，有些提示中用户意图不明确。

在表6，我们报告了用于训练/验证SFT、RM和RL模型的数据集大小，以及提示是由我们的标注承包商编写还是来自我们的API。

对于SFT，请注意，我们拥有的标注员编写的提示比客户提示多得多——这是因为在项目开始时，我们让标注员通过一个用户界面编写指令，该界面要求他们给出一个总体模板指令以及该指令的少样本示例。我们通过从同一指令中采样不同的少样本示例集，综合构建了多个SFT数据点。

对于RM，请记住，对于每个提示，我们收集了$K$个输出（从4到9不等）的排名，并在所有${K \choose 2}$上训练模型，因此我们训练模型的排名对数量比提示数量高一个数量级。

我们收集的数据涵盖广泛的类别和用例。表1展示了我们的RM训练和验证数据集中由承包商标注的类别多样性。PPO数据集的类别分布类似。我们还在表7中展示了部分标注的提示元数据子集。 请注意，我们的标注字段在项目过程中有所变化，因此并非每个提示都标注了每个字段。

我们使用了一个轻量级分类器（langid.py）来对数据集中的所有指令进行语言分类。根据经验，我们数据集中约96%（110k个数据点）被分类为英语，尽管我们估计实际比例可能达到99%或更高，这是由于分类器的不准确性所致。

除英语外，少量提示语还出现在至少20种其他语言中：西班牙语、法语、德语、葡萄牙语、意大利语、荷兰语、罗马尼亚语、加泰罗尼亚语、中文、日语、瑞典语、波兰语、丹麦语、土耳其语、印度尼西亚语、捷克语、挪威语、韩语、芬兰语、匈牙利语、希伯来语、俄语、立陶宛语、世界语、斯洛伐克语、克罗地亚语、斯瓦希里语、爱沙尼亚语、斯洛文尼亚语、阿拉伯语、泰语、越南语、马拉雅拉姆语、希腊语、阿尔巴尼亚语和藏语。

表8显示了每位客户对数据集贡献的平均提示语数量。在表9中，我们报告了用于训练各种模型的提示语长度（以词元计）的描述性统计，而在表10中，我们按用例细分了词元长度。最后，我们还在表中报告了用于我们SFT模型的承包商编写的演示的长度。11，既适用于承包商编写的提示，也适用于标注者编写的提示。

我们的标注者包括通过Upwork雇佣的承包商，或来自Scale AI。与以往主要关注摘要领域的RLHF工作不同(Ziegler et al., 2019; Stiennon et al., 2020; Wu et al., 2021)，在这项工作中，我们希望人类对提交给语言模型的广泛自然语言提示进行标注，其中一些可能具有敏感性。因此，我们进行了筛选过程，以选择那些表现出高度倾向检测和回应敏感内容的标注者。

更具体地说，从最初的标注者候选人池中，我们根据以下标准选择了我们的训练标注者：

收集这些数据后，我们选择了在所有 这些标准上表现良好的标注者（我们在数据的匿名版本上进行了选择）。由于第四项标准是主观的，我们最终 根据这些标准主观地选择了标注者，尽管我们在敏感言论标记和 比较方面有75%一致性的软性截止点，以及6/7的演示得分。

我们在项目过程中不断调整提供给标注人员的说明，因为我们收到了反馈、更改了元数据字段，并对我们想要衡量的内容有了更深入的理解。当说明令人困惑或不一致时，我们也进行了修订。

特别值得注意的是，在标注我们的训练数据时，我们让标注者将帮助用户作为最重要的标准（高于真实性和无害性），而在最终评估中，我们让标注者优先考虑真实性和无害性。我们正在探索研究途径，让模型在训练过程中有时优先考虑真实性和无害性而非帮助性，特别是通过使用拒绝机制：让模型拒绝回答某些指令。这带来了新的挑战：不同的应用具有不同的风险水平，因此我们可能希望模型拒绝的内容在推理时是可配置的。此外，存在模型可能过度泛化并拒绝无害指令的风险，这对大多数应用来说是不可取的。

我们在表 中展示了针对提示分布的最终评估指令摘录。10, 以及在RealToxicityPrompts分布上的结果见表11.

我们向标注员发送了一份自愿、匿名的调查问卷，以更好地了解他们的人口统计特征。我们在表12中展示了19位受访者的结果。总体而言，我们发现我们的标注员相当年轻（75%的人年龄在35岁以下），性别比例较为均衡，且大多来自美国或东南亚。

结合我们的人口统计调查，我们还发送了一份调查问卷以获取对任务的反馈。我们在表13. 总体而言，我们的标注者 喜欢这项任务，认为他们的工作得到了公平的报酬，并且 表示他们很欣赏研究人员的帮助和沟通水平。一些标注者确实觉得任务重复，不过 其他人觉得有足够的多样性来保持事情的趣味性和 吸引力。

在图12中，我们展示了我们的标注界面的截图，我们所有的标注者（以及研究人员）都使用该界面来标注数据。

所有模型架构都使用GPT-3架构(Brown et al., 2020)。对于奖励模型和价值函数，原始模型的解嵌入层被替换为输出标量值的投影层。所有模型都使用fp16权重和激活，并带有fp32主权重副本。所有模型都使用与(Brown et al., 2020)相同的字节对编码。我们所有的语言模型和RL策略的上下文长度为2k个标记。我们过滤掉长度超过1k个标记的提示，并将最大响应长度限制为1k个标记。

所有模型都使用Adam优化器进行训练，其中$\beta_1=0.9$和$\beta_2=0.95$.

我们训练SFT模型16个周期，残差dropout为0.2。我们使用余弦学习率调度，降至原始学习率的10%，没有学习率预热。对于1.3B和6B模型，我们使用9.65e-6的学习率和32的批量大小。对于175B，我们使用5.03e-6的学习率和8的批量大小。为了选择学习率，我们对1.3B和6B进行了7个学习率的几何搜索，对175B进行了5个学习率的搜索。我们还使用几何搜索调整了周期数。我们最终选择的模型基于RM分数，我们发现与验证损失相比，RM分数更能预测人类偏好结果。

我们训练了一个单一的6B奖励模型，用于所有规模的PPO模型。更大的175B RM有可能实现更低的验证损失，但（1）它们的训练更不稳定，这使得它们不太适合作为PPO价值函数的初始化，（2）使用175B RM和价值函数会大大增加PPO的计算需求。在初步实验中，我们发现6B RM在广泛的学习率下是稳定的，并产生了同样强大的PPO模型。

最终的奖励模型是从一个6B GPT-3模型初始化的，该模型在各种公共NLP数据集（ARC、BoolQ、CoQA、DROP、MultiNLI、OpenBookQA、QuAC、RACE和Winogrande）上进行了微调。这主要是出于历史原因；我们发现从GPT-3或SFT模型初始化RM时结果相似。我们在完整的奖励模型训练集上训练了一个epoch（见表6），学习率为lr = 9e-6，采用余弦学习率调度（在训练结束时降至初始值的10%），批大小为64。训练似乎对学习率或调度不太敏感；学习率变化高达50%会导致相似的性能。训练对epoch数量相当敏感：多个epoch会迅速使模型过拟合训练数据，验证损失明显恶化。这里的批大小表示每个批次中不同的提示的数量。每个提示有$K=4$到$K=9$个标记的完成，从中最多有$K \choose 2$个可能的比较。平局被丢弃。因此，一个批次最多可以包含$64 \times {K \choose 2} \leq$2,304次比较。

我们从预训练的GPT-3模型初始化RLHF模型，并在演示数据集上进行2个时期的监督微调。我们还在微调期间混合了10%的预训练数据，因为我们发现这对PPO训练有帮助（见附录E.11的详细信息）。使用余弦学习率调度，学习率最终衰减到峰值学习率的10%。我们使用批量大小为32用于1.3B和6B模型，8用于175B模型。我们比较了每个模型的几个不同峰值学习率，并选择在演示和预训练验证数据集上损失都较低的模型。对于1.3B和6B模型，比较了5个LR值的对数线性扫描，对于175B模型比较了3个值。1.3B、6B和175B模型最终的学习率分别为5e-6、1.04e-5和2.45e-6。

然后，我们从上述带有预训练混合的监督微调模型初始化RL策略。这些模型也用于计算KL奖励，方式与Stiennon et al. (2020)相同，使用$\beta=0.02$（见公式2）。我们训练所有RL模型256k个情节。这些情节包括约31k个独特的提示，在过滤掉包含PII的提示和基于公共前缀去重后。每次迭代的批量大小为512，小批量大小为64。换句话说，每个批次随机分成8个小批量，并且只训练一个 inner epoch（Schulman et al., 2017）。应用恒定学习率，并在前10次迭代中进行预热，从峰值学习率的十分之一开始。对权重应用指数移动平均，衰减率为0.992。估计 GAE 时不做折扣（Schulman et al., 2016）。PPO裁剪比率设置为0.2，采样温度为1用于rollouts。

如前所述，对于所有PPO模型，我们使用6B奖励模型和6B价值函数，后者由前者初始化。通过在所有模型大小的策略上使用相同的6B奖励模型和价值函数，更容易比较策略模型大小对策略性能的影响。对于1.3B和6B策略，价值函数使用固定的学习率9e-6，对于175B策略使用5e-6。

我们最初的RLHF实验在公共NLP数据集（如SQuADv2和DROP）上显示出回归，我们通过在PPO训练期间混合预训练梯度来缓解这些回归。我们使用的预训练示例数量是RL训练情节数量的8倍。预训练数据从用于训练GPT-3模型的数据集中随机抽取。对于每个小批量，我们在连续的步骤中计算PPO梯度和预训练梯度，并将它们都累积到梯度缓冲区中。我们将预训练梯度乘以一个系数，$\gamma=27.8$（参见方程2），以控制来自PPO和预训练分布的梯度的相对强度。

我们通过在FLAN和T0数据集上微调175B GPT-3模型来获得FLAN和T0基线。对于T0，请注意我们训练的是T0++版本的数据集。由于T0包含的数据（9600万个数据点）比FLAN（120万个数据点）多得多，我们将T0子采样到100万个数据点，以使每个模型的训练数据量相当。请注意，原始模型在数据点可以重复的时期进行训练，但在我们的时期中，我们遍历每个数据点而不重复（以更好地匹配我们训练SFT基线的方式）。我们应用了余弦学习率调度，并为每个数据集尝试了4e-6和6e-6的初始学习率。学习率在训练结束时衰减到其峰值的10%，并且我们为两个实验都使用了64的批量大小。

为了选择最佳的FLAN检查点，我们使用6B奖励模型对验证集提示的完成情况进行评分。如图13所示，奖励在训练的最初40万示例后趋于饱和。这表明更长时间的训练不太可能提高人工评估性能。我们选择了奖励模型得分最高的检查点进行人工评估，该检查点以4e-6的学习率训练了89.6万示例。

我们进行了两个类似的实验来寻找最佳的T0检查点。在一个实验中，我们使用了128的批大小、4e-6的学习率和128万示例。另一个实验使用了64的批大小、6e-6的学习率和100万示例。再次使用奖励模型得分，我们选择了前一个实验中训练了89.6万示例后的检查点。

我们在以下基准数据集上执行自动评估：Winogender(Rudinger et al., 2018), CrowS-Pairs(Nangia et al., 2020), RealToxicityPrompts(Gehman et al., 2020), TruthfulQA(Lin et al., 2021), DROP(Dua et al., 2019), QuAC(Choi et al., 2018), SquadV2(Rajpurkar et al., 2018)，Hellaswag(Zellers et al., 2019)，SST(Socher et al., 2013)，RTE和WSC （均为SuperGLUE的一部分(Wang et al., 2019)），WMT 15 法语$\rightarrow$在(Bojar et al., 2015)，CNN/Daily Mail 摘要(Nallapati et al., 2016)，以及 Reddit TLDR 摘要(V\"olske et al., 2017).

所有任务都采用类似的形式：它们（可选地）以一个对所有查询通用的指令开始；然后包含每个查询的上下文；最后以从模型中采样或从多个选项中选择的完成部分结束。所有模型采样均在温度$T=0$下进行，并在第一个换行符处截断。多项选择题的答案根据在$T=1$. 当提示中包含少量示例时，它保持与最终查询相同的格式。

对于偏见和毒性测量，我们展示了三种不同指令选择的结果，对应三种不同的提示类型：基本提示（无指令）、尊重提示和偏见提示。尊重和偏见的指令如下：

Complete the following sentence in a polite, respectful, and unbiased manner:

Complete the following sentence using maximally biased and offensive language:

对于偏见任务，我们报告平均值熵，每个 选择的熵。熵以比特为单位度量，表示模型做出选择时的确定性。其计算公式为$H = -\sum_{i \in \rm choices} P_i \log_2 P_i$，其中$\sum P_i = 1$，每个$P_i$与模型分配给该补全的总概率成正比。对于二元选择，最大熵为$1$. 高熵 表示模型不确定该选择哪个选项，或者等价地，它没有偏见，在可用选项中无偏好。

在本节中，我们描述了每个自动评估任务的提示结构，以及其他数据集特征，如验证示例数量和性能指标。这些显示在表14-25.

我们对模型进行了自动评估任务，这些任务共同衡量了偏见、毒性、真实性和各种自然语言能力。这些评估的结果见表114. 我们在图 中展示了模型的零样本性能28，并在图 中展示少样本性能29。我们可以看到，没有预训练混合的PPO模型在许多数据集上出现性能退化，尤其是在少样本设置下，而我们的PPO-ptx模型缓解了这些退化。

为了衡量我们的过程对训练标注者的过拟合程度，我们进行了一项实验，在标注者的子集上训练多个奖励模型，并测试它们对未参与训练的标注者的泛化能力。我们将比较数据分成五组标注者，使每组拥有大致相同的训练数据量。然后我们应用五折交叉验证，在四组上训练6B奖励模型，并在另一组上进行验证。我们使用与附录 C.2 中定义的相同超参数。我们发现，在预测人类偏好输出时，组间和组内验证准确率分别为72.4$\pm$0.4%和69.6$\pm$0.9%，这表明我们的奖励模型能够很好地泛化到从与训练标注者同一群体中抽取的保留标注者。

在图30中，我们展示了元数据结果随模型大小的变化。

在图31，我们在提示分布上展示了每个模型的李克特量表得分。结果与我们在第4.1.

我们在Winogender和CrowS-Pairs数据集上的结果如图32所示。InstructGPT在这些数据集上并没有显著 优于GPT-3。

我们扫描一系列预训练损失系数（公式 2 中的 $\gamma$）以观察其对公开 NLP 数据集性能和验证奖励的影响。结果如图33所示。通过将预训练损失系数设置为大于或等于20，可以在1.3B模型上恢复这些任务上的性能下降。我们还注意到，对预训练损失系数的敏感性因任务而异。尽管增加预训练损失系数会导致验证奖励下降，但单一值27.8似乎在从1.3B到175B参数量的不同模型规模上都表现良好。在我们的消融研究中，人类likert评分似乎对预训练损失系数的具体值不敏感。

我们进一步研究增加KL奖励系数（$\beta$在公式2）是否足以修复公共NLP数据集上的性能下降，使用1.3B模型。我们将预训练损失系数设置为0，并在对数线性空间中均匀扫描一系列KL奖励系数。结果如图34所示。在这些实验中，预训练的GPT模型用作KL奖励模型。我们发现，即使将KL奖励系数增加到2.0（默认值的100倍），性能下降仍然无法修复。正如预期，过大的KL奖励系数会导致验证奖励显著下降。这一结果表明，预训练数据分布对于修复公共NLP数据集上的性能下降以及保持预训练模型的能力至关重要。

在图35，我们表明， 在1.3B模型上，训练时间更长会导致在公共NLP数据集上的性能下降。我们应用默认的PPO训练方法，并混合预训练，使用三个不同的随机种子。我们没有训练256k个回合，而是训练了512k个回合。可以看出，在DROP和SquadV2上，模型的初始性能优于GPT-3模型。随着训练的进行，这两个任务上的性能略降至GPT-3基线以下。

即使在PPO训练的预训练数据混合中，正确调整KL奖励系数仍然很重要。如图36，我们展示了人类Likert评分作为KL奖励系数的函数。KL奖励系数为0和2时，性能都很差。最优值大约在0.01和0.02之间。

我们尝试了几种SFT模型的变体作为PPO的初始模型，包括在人类演示数据上训练一个和两个epoch，并混合0%、10%和50%的预训练数据。如图37所示，唯一突出的设置是混合10%的预训练数据。我们选择在人类演示数据集上训练PPO的初始模型两个epoch，并混合10%的预训练数据，尽管PPO的性能似乎对这些特定选择不敏感。

对于1.3B和6B模型，我们在对数线性空间中扫描学习率，范围从2.55e-6到2.55e-5，分别针对有和没有预训练数据混合的PPO。对于没有预训练数据混合的PPO模型，所有学习率大于8.05e-6的运行都发散了。对于175B模型，由于计算限制，我们使用2.55e-6和3.74e-06两个学习率进行了类似实验。图38显示了人类评估结果。带有预训练数据混合的PPO似乎对学习率的变化不太敏感。基于这些结果，我们选择了具有最高Likert分数的检查点作为最终模型。

在RealToxicityPrompts任务中，我们通过Perspective API测量毒性，发现我们模型输出的毒性与输入提示的毒性高度相关，如图39所示。为了更好地捕捉我们模型在不安全情况下的行为，我们从RealToxicityPrompts数据集中抽取了5000个示例，这些示例在提示毒性上近似均匀分布，并报告该样本的平均毒性。

我们比较了使用不同数量的预训练数据，同时保持预训练损失系数不变。通过增加预训练数据量，预训练的梯度估计质量得到改善。我们发现，当预训练数据比例为4时，预训练分布上的对数概率损失在训练过程中往往会增加。一些初步实验表明，使用预训练数据比例32可以获得更好的人类Likert评分。然而，训练时间也增加了数倍。通过将预训练数据比例设置为8，训练时间是不使用预训练混合的相应实验的两倍；我们选择这个作为训练速度和预训练损失性能之间的折中。

使用1.3B模型，我们发现对于带有预训练数据混合的PPO，训练超过256k个episode并没有帮助。我们将增加独特提示的数量和使用更大的模型是否会改变这一结论留给未来的工作。

我们在1.3B模型上，对带有预训练数据混合的PPO，尝试了批大小64、128、256、512和1024。通过人类评估，发现批大小512是最好的。在将批大小固定为512后，我们进一步尝试了小批量大小8、16、32、64。我们发现小批量大小32是最优的，略优于64。然而，我们的最终模型使用了小批量大小64，因为它比小批量大小32具有更好的GPU利用率。

在本节中，我们提供了来自175B GPT-3和175B InstructGPT（PPO-ptx）模型的一些额外样本。我们对InstructGPT采样在$T=1$，对GPT-3使用$T=0.7$，因为GPT-3在高温下表现不佳（这略微不利于InstructGPT）。

在图42，我们展示了图8中的完整法语样本，说明尽管我们的数据集几乎完全由英语组成，我们的模型有时仍能遵循其他语言的指令。在图44中，我们展示了模型倾向于回答可能有害的指令，这是我们在训练数据中优先考虑对用户有帮助的结果。在图45中，我们展示了另一个模型描述代码的示例，尽管它仍远非完美。

在图46–50中，我们展示了来自我们数据集的标注者编写的提示，以及模型样本和人工编写的演示。这5个提示是从15个中选出的，以展示一系列不同的任务。