请列举并解释Spark作业中常见的内存问题,以及如何定位和解决这些问题?
考察说明
考察对Spark内存模型、常见OOM场景及调优手段的理解
回答思路
- 准确描述Executor内存划分(堆内/堆外、Storge/Execution内存)
- 列举典型内存问题如OOM、GC频繁、序列化溢出、堆外内存超限
- 能结合具体算子(如groupByKey、join、cache)说明内存压力来源
- 给出有依据的排查与调优手段(并行度、数据结构、广播、持久化级别)
- 面对模糊场景能提出进一步诊断思路(日志、UI、堆dump)
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。