请解释 RLHF 的原理，并比较 DPO 与 PPO 的核心区别、各自的损失函数形式及优缺点。

回答思路

1. 说明 RLHF 的整体流程（SFT、奖励模型、策略优化）
2. 准确描述 PPO 在 RLHF 中的使用方式与损失组成
3. 准确描述 DPO 的损失函数与 PPO 的本质区别
4. 对比两者在复杂度、稳定性、样本利用上的优缺点