提示词调整没有代码变更,却让线上 Agent 行为大幅变化。你会怎样把提示和配置纳入正式发布流程?
考察说明
考查提示资产版本化、回归、灰度和回滚治理能力。
回答思路
- 系统提示、示例、工具描述和采样参数都使用不可变版本,并与代码、模型和评测结果建立关联。
- 修改前说明目标与可能影响,在固定任务集上比较质量、格式、安全、延迟和成本,不能只凭几个对话通过。
- 先通过影子或小流量灰度观察真实分层,记录每次请求使用的提示版本以便定位行为变化。
- 发布设置批准人、监控指标和自动回滚条件,高风险工具场景还应完成攻击与权限测试。
- 禁止生产控制台无记录热改,紧急变更也要保留差异、原因和事后补验,避免配置成为不可审计代码。