技术转 AI / Agent 工程面试题更新 2026-08-05

公司同时使用三家模型供应商,你会怎样设计模型网关,让业务接入统一但又不掩盖模型差异?

风险判断系统设计方案权衡

考察说明

考查统一接入、能力声明、路由治理与供应商可替换性设计。

回答思路

  1. 网关统一认证、配额、追踪和基础请求接口,但通过能力声明保留结构化输出、工具调用和上下文限制等差异。
  2. 业务按所需能力与服务等级选择逻辑模型,不能假设所有供应商参数和错误语义可以无损互换。
  3. 路由依据包括任务类型、地区、延迟、价格和健康状态,并记录实际供应商、版本与选择原因。
  4. 重试和故障切换只用于明确可恢复错误,写操作与非幂等请求不能因网关超时自动跨供应商重复执行。
  5. 使用统一回归集和成本报表评估各后端,发布路由策略时灰度验证并保留快速回滚能力。