公司准备采购一个企业 AI 助手，供应商演示都很好看，你会设计怎样的选型测试来防止被演示样例带偏？
考察说明
考查基于真实任务和可核验指标进行 AI 产品采购选型的能力。
回答思路
- 从内部真实流程抽取代表性任务并删除敏感信息，测试集应包含普通请求、边界情况和必须失败的场景。
- 让各供应商在相同输入、相同时间和相同评分标准下盲测，避免只观看对方提前调优的展示案例。
- 除答案质量外还要测试权限隔离、引用可靠性、管理审计、峰值延迟、故障恢复和数据删除能力。
- 成本应按成功完成一次任务计算，包含模型调用、集成、人工复核、知识维护和未来迁移，而非只看账户单价。
- 设置小范围试点和退出条款，用真实用户采用与严重错误数据决定采购，避免在验证前做长期供应商绑定。