如果团队说新的 AI 功能“感觉回答还不错”，你会怎样建立一套最小可用的评估方法来判断它是否真的能上线？
考察说明
考查从主观体验转向可复查评测体系的能力。
回答思路
- 从真实使用场景抽取覆盖常见请求、边界情况和高风险失败的测试集，并保存期望结果、必要证据和不可接受行为。
- 把质量拆成任务完成度、事实正确性、指令遵循、格式通过率、安全性等维度，不同场景按照业务风险设置不同权重。
- 能够自动判断的字段、引用和工具调用使用程序评分，语义质量和表达适用性则采用带明确评分标准的人工评审。
- 开放式回答可以进行盲测或成对比较，减少评审者被模型名称和历史结果影响，但关键事实仍需独立核验。
- 上线前同时记录响应延迟、单次成功成本和失败后的人工处理成本，因为质量提升可能以不可接受的性能或费用为代价。
- 上线后观察用户任务完成率、采纳率、重试率、转人工率和严重投诉，并把新的真实失败样本加入回归集。