腾讯面试题 · 方案权衡 · DeepSpeed
腾讯相关面试题，按最终去重题目聚合。
共 3056 道真题 · 当前筛选命中 5 道 · 更新 2026-08-05
筛选题目已选：方案权衡 · DeepSpeed
考察点
技术栈
第 1 题用 DeepSpeed ZeRO-3 微调 Qwen2-72B，每张卡占用显存大概是多少？请估算并解释为什么占这么多显存。 考察对 ZeRO-3 显存优化原理的理解和实际估算能力第 2 题请解释DeepSpeed中ZeRO-1、ZeRO-2和ZeRO-3三种模式的区别。 考察对ZeRO优化器分片策略及其内存效率提升的理解第 3 题请介绍 DeepSpeed 的 ZeRO 三阶段优化分别解决了什么问题，各自的适用场景是什么？ 考察对大模型分布式训练显存优化技术的理解深度与场景判断能力第 4 题询问除DeepSpeed外使用过的其他优化方法 考察对深度学习训练优化方法的了解与实战经验第 5 题能否简单介绍一下 DeepSpeed 的 ZeRO 三阶段优化？ 考察对分布式训练显存优化技术的理解与表达清晰度