技术转 AI / Agent 工程面试题更新 2026-08-05

线上流量里既有简单分类,也有长文档分析和复杂推理。面对三种能力、速度和价格不同的模型,你会怎样让系统自动选择,并在结果不可靠时升级?

风险判断系统设计方案权衡LLM

考察说明

考查模型路由、升级策略和质量成本控制能力。

回答思路

  1. 先按任务类型、输入模态、上下文长度、业务风险和响应时限定义候选模型集合,不满足工具、视觉或安全要求的模型直接排除。
  2. 低风险简单任务可以先走轻量模型,检测到复杂推理、低质量结果或高影响操作时再升级,但升级条件需要外部评测校准。
  3. 路由特征可来自规则、轻量分类器和历史任务表现,不能只依赖生成模型自报的置信度,因为自信表达不等于答案可靠。
  4. 各模型在真实任务集上分别记录质量、延迟、失败类型和成功任务成本,路由优化目标应服从最低质量和安全门槛。
  5. 路由决策、模型版本和升级原因需要进入追踪日志,并支持灰度发布和快速回滚,避免供应商更新导致结果无声漂移。
  6. 故障切换只用于模型服务不可用等已定义场景,不能用另一个模型的答案掩盖数据、权限或工具链路中的根因。