请讲述在 Spark SQL 中针对大规模数据执行分布式 Join 时会面临哪些主要挑战，并介绍常用的优化策略有哪些？
考察说明
考查对 Spark SQL 大规模数据 Join 的挑战认知及优化策略的掌握。
回答思路
- 【回答框架 1】大规模数据在 Spark SQL 中进行 Join 时，主要挑战是数据倾斜和网络 Shuffle 开销。数据倾斜会导致单个任务处理大量数据而拖慢整体作业，Shuffle 则产生大量网络和磁盘 I/O。
- 【回答框架 2】优化策略包括：一是利用 Broadcast Join，当一张表足够小时将其广播到各执行器，避免 Shuffle；二是调整 Join 类型，如使用 Sort Merge Join 替代 Shuffle Hash Join；三是通过 Salting 或加随机前缀等方式缓解数据倾斜；四是合理设置分区数、开启自适应查询执行（AQE）自动优化。
- 【回答框架 3】具体实现上，可使用 Spark 的 Broadcast Hint 或自动广播阈值配置，对倾斜键添加盐值后分组处理，再合并结果。AQE 能自动调整 Join 类型和分区数，减少手动调优成本。
- 【回答框架 4】另外，预先进行数据过滤和分区裁剪，减少 Join 参与的数据量；也可通过缓存中间结果或使用 Bucketing 技术使 Join 键预分桶，避免多次 Shuffle。
- 【回答框架 5】还需关注内存和资源设置，如 Executor 内存、并行度等，并根据实际集群资源和数据特征选择合适策略，最终以压测结果为准。
- 【关键点 1】Broadcast Join 适用于小表，能避免 Shuffle，适合大表和小表 Join。
- 【关键点 2】数据倾斜可通过 Salting 或加随机前缀打散，再合并结果。
- 【关键点 3】Sort Merge Join 是 Spark 默认的大表 Join 方式，排序合并，适合大表对大表。
- 【关键点 4】AQE 可动态调整分区数和 Join 类型，优化执行计划。
- 【关键点 5】预分桶（Bucketing）可减少重复 Shuffle，提升多次 Join 效率。
- 【易错点 1】盲目使用 Broadcast Join 可能因小表过大导致 Driver 内存溢出。
- 【易错点 2】Salting 后需正确分组合并，否则易导致结果错误或二次倾斜。
- 【易错点 3】仅依赖 AQE 可能无法解决极端倾斜，仍需针对性手动优化。