请简要描述强化学习PPO（Proximal Policy Optimization）的核心思想，及其在语言模型对齐中的应用。

Question

Accepted Answer

考察点：考察对PPO算法原理和LLM对齐应用的理解。回答思路：准确描述PPO的裁剪目标函数 说明旧策略与新策略的比值约束 理解PPO在RLHF中的作用和流程

考察说明