我要招人

数据岗位面试题更新 2026-08-05

请说明 Spark SQL 对内存中的中间数据采用何种管理策略？针对该策略，可以采取哪些手段来优化查询性能？

数据性能优化技术原理方案权衡Spark SQL

考察说明

考查候选人对 Spark SQL 内存管理与性能优化的理解深度，能否结合具体机制说明优化手段。

回答思路

  1. 【回答框架 1】Spark SQL 的内存管理基于统一内存模型，将内存划分为执行内存和存储内存两部分，中间数据（如 shuffle 的溢出数据、缓存的数据）主要存放在存储内存中，而计算过程（如 join、聚合）的临时数据则使用执行内存。这种设计使得执行和存储可以动态调整，提高了内存利用率。
  2. 【回答框架 2】对于中间数据的处理，Spark SQL 会根据数据大小和内存状态决定是否将数据 spill 到磁盘，例如在 shuffle 或 join 操作中，如果内存不足，会将部分数据溢写为磁盘文件，以降低 OOM 风险。此外，通过缓存中间结果（如 cache/ persist）可以避免重复计算，但需要注意缓存策略的选择，如 MEMORY_ONLY、MEMORY_AND_DISK 等。
  3. 【回答框架 3】内存优化方面，可以从几个维度入手：一是合理配置执行内存与存储内存的比例，调整 spark.memory.fraction 和 spark.memory.storageFraction；二是使用高效的压缩格式和列式存储，如 Parquet，减少内存占用；三是监控和调优 shuffle 相关参数，如 spark.shuffle.spill，以避免过多磁盘 I/O；四是利用 Tungsten 优化，使用二进制格式管理内存，减少内存开销。
  4. 【回答框架 4】还需要注意避免内存倾斜和滥用缓存。例如，数据倾斜会导致部分任务内存压力过大，可以通过调整分区键或使用 salting 技术缓解；而过多的缓存会占用执行内存，影响整体性能，因此要谨慎选择需要缓存的中间结果。
  5. 【关键点 1】Spark SQL 使用统一内存管理，分为执行内存和存储内存，中间数据主要存放在存储内存。
  6. 【关键点 2】内存不足时数据会 spill 到磁盘，通过配置内存比例和执行内存，调整可减少溢写。
  7. 【关键点 3】使用列式存储和压缩（如 Parquet）可有效降低内存占用。
  8. 【关键点 4】利用缓存中间结果，但需选择存储级别，避免过度缓存影响执行内存。
  9. 【关键点 5】合理设置并行度和分区可缓解数据倾斜，减少内存压力。
  10. 【易错点 1】错误地认为执行内存和存储内存固定划分，实际上两者可动态调整。
  11. 【易错点 2】过度依赖缓存，可能因内存占用过高导致频繁 GC 或 OOM。
  12. 【易错点 3】忽略数据倾斜导致的内存问题，仅调整内存参数无法根治。