业务希望 AI 对每个答案给一个“置信度百分比”，你会怎么判断这个数字能不能用于自动决策？
考察说明
考查理解模型自信表达、概率校准和决策阈值之间的区别。
回答思路
- 模型自己生成的百分比往往只是语言输出，并不天然对应答案真实正确的概率，不能直接作为授权依据。
- 需要在有标准答案的代表性样本上比较不同分数区间的实际正确率，确认分数是否经过校准且随场景稳定。
- 可结合证据是否充分、规则校验、模型一致性和输入是否超出支持范围，构建外部风险信号而非只听模型自报。
- 自动化阈值应依据错误后果设置，低风险场景可以宽松，高影响决定即使高分也可能需要人工确认。
- 上线后监控各分数区间的真实失败和分布漂移，模型或数据变化时必须重新校准，不能永久沿用旧阈值。