PPO（近端策略优化）

OpenAI 提出的强化学习算法，通过裁剪目标函数约束策略更新幅度，避免策略崩溃；是 RLHF 第三步（PPO 优化阶段）的核心算法。

是什么

PPO 是一种策略梯度强化学习算法。其关键创新是裁剪替代目标函数（clipped surrogate objective）：

$\mathcal{L}^{\text{CLIP}}(\theta) = \hat{\mathbb{E}}_t \left[ \min\left( r_t(\theta) \hat{A}_t, \ \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right) \right]$

其中 $r_t(\theta)$ 是新旧策略的概率比，$\hat{A}_t$ 是优势函数，$\epsilon$ 是裁剪范围（通常 0.2）。

直觉：当 $r_t$ 偏离 1 太远时，裁剪阻止了过大的策略更新。

为什么重要

PPO 是 RLHF 的训练引擎。在 RLHF 三步流程中：

1. SFT → 教模型基础指令格式
2. RM → 训练奖励模型模拟人类偏好
3. PPO → 用 RM 的奖励信号优化语言模型

PPO 解决了两个核心挑战：

• 策略稳定性：裁剪机制防止单步策略更新过大导致语言能力崩溃
• KL 约束：RLHF 中额外加入 KL 散度惩罚项，防止策略偏离 SFT 基线太远

RLHF 中的 PPO 变体（InstructGPT）

InstructGPT 使用了 PPO-ptx 变体，混合两个目标：

$\mathcal{L} = \mathcal{L}_{\text{PPO}} + \gamma \cdot \mathcal{L}_{\text{pretrain}}$

• $\mathcal{L}_{\text{PPO}}$：标准 PPO 目标 + KL 惩罚项
• $\mathcal{L}_{\text{pretrain}}$：预训练语言建模损失（混入以缓解对齐税）
• $\gamma$：预训练数据混合系数，InstructGPT 使用 $\gamma = 27.8$

与相邻概念的区别

概念	区别
RLHF	PPO 是 RLHF 使用的优化算法，RLHF 是完整的训练范式
DPO	DPO 绕过显式奖励模型和 PPO，直接用偏好数据训练；PPO 需要 RM 作为中间奖励函数
TRPO	PPO 的前身，使用 KL 约束而非裁剪，计算更复杂
REINFORCE	最简单的策略梯度方法，没有 PPO 的裁剪稳定机制

常见误解

• ❌ PPO = RLHF → PPO 是通用 RL 算法，RLHF 是其在大模型对齐中的特定应用
• ❌ PPO 不需要调参 → 裁剪范围 $\epsilon$、KL 系数 $\beta$、预训练混合 $\gamma$ 都需仔细调整

来自 personal chatgpt 课程的增量

在 TRL 语言模型场景中，PPO 的工程链路可概括为：

1. policy 根据 query 生成 response；
2. reward model 给外部 score，reference model 提供 KL shaping；
3. value head 估计每个 token 的 value；
4. 由 reward/value 计算 return 与 advantage（常配合 GAE）；
5. 将 rollout 切成 minibatch，多轮更新 policy 与 value，并用 ratio clipping 限制单次变化。

第 16 讲是最小接口演示，第 27 讲走读旧版 PPOTrainer.step 与 OpenRLHF 组件关系。API 与 batch 字段高度版本化，概念页保留流程，不把某个 TRL 版本的函数签名当成永久规范。

课程来源：资料摘要：personal chatgpt-16、资料摘要：personal chatgpt-27。

相关

• RLHF（人类反馈强化学习）
• DPO（直接偏好优化）
• Policy Gradient（策略梯度） — PPO 的核心数学基础
• GRPO（组相对策略优化） — 去 Critic 的 PPO 变体
• verl — 支持 PPO 训练的开源框架
• 资料摘要：InstructGPT
• 对齐税
• Wiki 目录