高频问答服务想用语义缓存降低费用,但担心把相似却不同的问题答错。你会怎样设计缓存命中和隔离?
考察说明
考查语义缓存适用边界、键设计、失效与安全隔离能力。
回答思路
- 只缓存低风险、结果稳定且允许复用的任务,个性化判断、实时数据和有副作用操作不应直接使用语义缓存。
- 缓存键除语义表示外应包含模型、提示、知识版本、语言、租户和权限范围,防止行为漂移或跨用户泄露。
- 命中阈值在真实问答对上校准,并对数字、实体和否定词做额外精确检查,不能只依据向量距离。
- 资料更新、权限变化和模型发布时需要主动失效或版本隔离,同时为每条结果设置符合业务时效的期限。
- 监控命中率、错误复用率、节省成本和质量分层,并保留绕过缓存回源的抽样检查与紧急开关。