淘天集团面试题更新 2026-08-05

请详细介绍 DeepSpeed 的三个 ZeRO 阶段及其与参数(如 offload、partition 策略)的配合关系。

淘天集团人工智能互联网/IT技术原理方案权衡DeepSpeed

考察说明

考察对 DeepSpeed ZeRO 各阶段机制原理及参数配置的理解

回答思路

  1. 准确说明 ZeRO 各阶段分区的内容(优化器状态、梯度、参数)
  2. 清晰解释每个阶段显存节省与通信开销的权衡
  3. 结合实际参数(如 zero_optimization、offload_optimizer、offload_param)说明如何配置
  4. 能说出典型场景下如何选择 stage 和参数