线上流量里既有简单分类,也有长文档分析和复杂推理。面对三种能力、速度和价格不同的模型,你会怎样让系统自动选择,并在结果不可靠时升级?
考察说明
考查模型路由、升级策略和质量成本控制能力。
回答思路
- 先按任务类型、输入模态、上下文长度、业务风险和响应时限定义候选模型集合,不满足工具、视觉或安全要求的模型直接排除。
- 低风险简单任务可以先走轻量模型,检测到复杂推理、低质量结果或高影响操作时再升级,但升级条件需要外部评测校准。
- 路由特征可来自规则、轻量分类器和历史任务表现,不能只依赖生成模型自报的置信度,因为自信表达不等于答案可靠。
- 各模型在真实任务集上分别记录质量、延迟、失败类型和成功任务成本,路由优化目标应服从最低质量和安全门槛。
- 路由决策、模型版本和升级原因需要进入追踪日志,并支持灰度发布和快速回滚,避免供应商更新导致结果无声漂移。
- 故障切换只用于模型服务不可用等已定义场景,不能用另一个模型的答案掩盖数据、权限或工具链路中的根因。