价值模型和奖励模型的区别是什么？

回答思路

1. 准确说明价值模型（Value Model）的输入与输出（状态或状态动作对到回报期望）
2. 准确说明奖励模型（Reward Model）的输入与输出（序列到标量分数）
3. 指出奖励模型通常在离线偏好数据上训练，价值模型在在线交互中用于策略评估
4. 能说明两者在RLHF或强化学习流程中的不同作用