在处理大规模数据集时，Spark 中的 Join 操作容易成为性能瓶颈。请阐述针对此类场景的优化策略，并给出具体的应用案例。
考察说明
考查对 Spark Join 原理、优化策略及实际应用的理解。
回答思路
- 【回答框架 1】Spark Join 默认采用 Sort Merge Join，需要先对两侧数据进行 shuffle 和排序，开销较大。优化思路主要围绕减少 shuffle 数据量、避免数据倾斜和选择正确的 Join 类型。
- 【回答框架 2】对于大小表 Join，可使用 Broadcast Join 将小表广播到所有 Executor，避免 shuffle。适用条件是小表小于 spark.sql.autoBroadcastJoinThreshold（默认 10MB）。
- 【回答框架 3】对于数据倾斜，可对热点 key 加盐（如随机前缀）进行拆分，或使用广播小表等方式缓解。也可考虑使用 Skew Join 优化（Spark 3.0+）自动处理。
- 【回答框架 4】实际场景包括：用户与订单表关联、日志与维度表关联等，可通过合理分区、预过滤、使用 Bucketing 等方式进一步优化。
- 【关键点 1】广播 Join 适用于小表，避免 shuffle，性能提升明显。
- 【关键点 2】数据倾斜是 Join 性能杀手，加盐或广播小表可缓解。
- 【关键点 3】Sort Merge Join 是默认 Join 实现，理解其原理有助于针对性优化。
- 【易错点 1】广播 Join 不适用于大表，否则会 OOM。
- 【易错点 2】加盐后需要处理盐值的去除，否则结果错误。
- 【易错点 3】Bucketing 需要预先对表进行相同分区数的分桶操作。