你负责一个企业知识问答产品，准备上线前会怎么设计评测集，避免只靠团队自己试玩？

回答思路

1. 从真实搜索词、客服记录和用户访谈中抽取任务，按用户角色、业务主题、问题难度和风险等级分层，而不是只由产品经理编题。
2. 覆盖可回答、信息不足、知识库不存在、权限不足、问题含糊和需要追问等情况，避免评测集只包含标准问答。
3. 为每条样本定义可核验的参考依据和评分维度，例如事实正确性、引用一致性、完整性、拒答合理性和表达可用性。
4. 高风险样本由领域专家制定或复核标准答案；开放式问题可以采用评分规则加人工盲评，不强求唯一措辞。
5. 保留独立的回归集，并把线上高频失败持续加入评测集，防止团队针对公开样本反复调优后产生虚假提升。
6. 分别报告总体结果和关键分层结果；即使平均分提高，只要高风险场景明显退化，也不能直接通过上线门槛。