在 Spark SQL 查询计划优化中，Shuffle 操作扮演什么角色？请说明其含义、影响以及如何通过调整 Shuffle 相关参数或设计来优化查询性能。
考察说明
考查对 Spark SQL 中 Shuffle 机制的理解及基于此进行查询优化的能力。
回答思路
- 【回答框架 1】Shuffle 是 Spark 中跨分区重新分发数据的操作，发生在宽依赖算子（如 groupBy、join、distinct）时，涉及磁盘 I/O、网络传输和序列化，成本高昂，是查询性能瓶颈之一。理解 Shuffle 的产生和代价是优化的前提。
- 【回答框架 2】优化思路：1）减少 Shuffle 数据量，如提前过滤、使用 map 端聚合（combiner）、列剪裁；2）避免 Shuffle，如使用广播连接（Broadcast Join）替代 Shuffle Join；3）调整参数，如增加 shuffle 分区数（spark.sql.shuffle.partitions）以均衡负载，或调大 shuffle 缓冲区（spark.shuffle.file.buffer）减少磁盘次数。
- 【回答框架 3】通过 Spark UI 或执行计划查看 Shuffle 的读写字节和记录数，定位性能瓶颈。
- 【回答框架 4】实际项目中常结合数据特征选择优化策略，例如事实表与维表连接时优先使用广播，对大数据量 join 则通过预分区对齐减少 Shuffle 量。
- 【关键点 1】Shuffle 发生于宽依赖，代价高。
- 【关键点 2】优化核心是减少数据量、避免 Shuffle、均衡负载。
- 【关键点 3】广播连接可显著优化小表 join 场景。
- 【易错点 1】广播连接对表大小有限制，超出会退化为 Shuffle Join。
- 【易错点 2】仅增加分区数不一定能提升性能，可能导致小文件问题。
- 【易错点 3】忽略数据倾斜时，单纯调参无法解决热点问题。