你要用模型离线处理一百万条商品信息,怎样设计批处理任务,控制吞吐、失败恢复和数据一致性?
考察说明
考查大规模离线推理中的分片、检查点、重试与质量控制。
回答思路
- 输入按稳定记录标识分片并保存模型、提示和 schema 版本,确保任务可以重跑且结果来源可追溯。
- 根据供应商批量接口、令牌限制和下游写入能力设置并发,使用背压避免短时间打满配额或数据库。
- 每条记录使用幂等写入并保存检查点,失败只重试可恢复部分,不能因少数错误重新生成全部结果。
- 把限流、超时、格式错误和内容不合格分类处理,超过阈值进入隔离队列并触发告警。
- 正式全量前抽样验证质量,运行中持续检查成本、失败和分布漂移,完成后对输入输出数量做一致性对账。