公司同时使用三家模型供应商,你会怎样设计模型网关,让业务接入统一但又不掩盖模型差异?
考察说明
考查统一接入、能力声明、路由治理与供应商可替换性设计。
回答思路
- 网关统一认证、配额、追踪和基础请求接口,但通过能力声明保留结构化输出、工具调用和上下文限制等差异。
- 业务按所需能力与服务等级选择逻辑模型,不能假设所有供应商参数和错误语义可以无损互换。
- 路由依据包括任务类型、地区、延迟、价格和健康状态,并记录实际供应商、版本与选择原因。
- 重试和故障切换只用于明确可恢复错误,写操作与非幂等请求不能因网关超时自动跨供应商重复执行。
- 使用统一回归集和成本报表评估各后端,发布路由策略时灰度验证并保留快速回滚能力。