人工智能面试题 · DeepSpeed
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 84 道 · 更新 2026-08-05
筛选题目已选：DeepSpeed
考察点
技术栈
第 21 题如果单卡放不下模型如何做模型并行？ 考察对大模型训练和推理中并行策略的理解与选择第 22 题请介绍训练pipeline，并说明DeepSpeed ZeRO 1/2/3的原理，你们用了哪个，为什么用这个？ 考察对分布式训练内存优化机制的理解、选型依据与工程实践第 23 题DeepSpeed 的 offload 是如何实现的？ 考察对 DeepSpeed ZeRO-Offload 机制、CPU/GPU 内存管理与通信模式的理解第 24 题训练一个 7B 参数规模的模型大约需要多少显存？不同 DeepSpeed ZeRO 阶段分别能节省多少显存？ 考察对大模型训练显存开销构成及 ZeRO 优化策略的理解第 25 题你提到用DeepSpeed做SFT训练,请讲一下DeepSpeed ZeRO Stage 1-3的区别,以及什么时候用FSDP(Fully Sharded Data Parallel)会更好? 考察对分布式训练显存优化技术、原理区别与选型判断第 26 题使用DeepSpeed ZeRO-3微调Qwen2-72B时，每张GPU卡占用显存大约多少？请给出估算思路和关键决定因素。 考察大模型微调显存估算能力和对ZeRO-3机制的理解第 27 题介绍一下DeepSpeed的关键配置参数及其含义。 考察对DeepSpeed配置体系的理解及分布式训练实践深度第 28 题显存不够时，一般怎么解决，有哪些常见的优化方法？ 考察对深度学习训练显存优化的常见策略和工程实践能力第 29 题你了解哪些大模型训练和推理优化的方法？ 考察对模型训练与推理阶段常见优化手段的理解广度与深度第 30 题大模型训练有哪几种并行方式，各自解决什么问题？ 考察对分布式训练并行策略的整体认知第 31 题以DeepSpeed为例，它的核心优势是什么？在什么场景下你会优先选择它？ 考察对DeepSpeed核心机制的理解和实际选型判断第 32 题估算使用DeepSpeed ZeRO-3微调Qwen2-72B时单卡显存占用量并说明原因 考察大模型分布式训练显存分析能力，以及ZeRO-3的内存优化原理第 33 题请介绍你对 DeepSpeed 的理解，包括其核心功能和典型应用场景。 考察对分布式训练优化框架的了解程度第 34 题为什么 DeepSpeed ZeRO-3 不适合直接用于模型训练？ 考察对 ZeRO-3 机制、训练特性与显存/通信开销的理解第 35 题DeepSpeed的ZeRO优化器在不同阶段（Stage 1、2、3）分别能节省哪些显存？各阶段的主要区别是什么？ 考察对分布式训练显存优化原理的理解第 36 题请介绍DeepSpeed的核心原理与主要优化手段。 考察对大模型分布式训练优化技术的理解深度第 37 题如何估算大模型微调时的显存需求？请结合 DeepSpeed 的典型配置举例说明。 考察对大模型训练/微调显存构成的理解及工程估算能力第 38 题请结合 DeepSpeed 的三个 ZeRO 阶段，详细介绍其工作原理、内存优化方式及各自的适用场景。 考察对 DeepSpeed ZeRO 各阶段内存优化机制的理解与场景判断能力第 39 题请比较 DeepSpeed 和 Megatron 在大模型训练中的技术特点与应用场景。 考察对主流大模型训练框架的核心技术与适用场景的理解第 40 题DeepSpeed里面流水线并行是怎么优化复杂度的？ 考察对流水线并行调度策略与显存优化的理解