我要招人

SQL面试题更新 2026-08-05

请解释 Spark SQL 中广播连接（Broadcast Join）的概念，并说明适合使用它的大致场景？

数据风险判断技术原理Spark SQL

考察说明

考查对 Spark SQL 中广播连接机制的理解及其适用条件的判断。

回答思路

  1. 【回答框架 1】广播连接是 Spark SQL 中的一种优化策略，通过将小表数据以只读广播变量的形式分发到所有执行节点，并在本地与大表数据进行连接，避免 Shuffle 带来的网络传输和磁盘开销。
  2. 【回答框架 2】广播连接适用于一个大表与一个小表进行等值连接，且小表数据量足够小，能够被 Spark 默认或手动配置的阈值（如 spark.sql.autoBroadcastJoinThreshold，默认 10MB）所覆盖。
  3. 【回答框架 3】当小表小于阈值时，Spark 会自动采用广播连接；也可通过 hint 手动指定，如 /*+ BROADCAST(t) */ 强制使用。使用广播连接应确保 Driver 和 Executor 内存足够容纳广播表副本。
  4. 【回答框架 4】广播连接能显著减少 Shuffle，从而提升查询速度，但当广播表过大时会导致 Driver 和 Executor 内存压力增加，甚至 OOM，因此需要合理设置阈值和权衡。
  5. 【回答框架 5】选择时还需考虑集群资源、表的大小变化和查询频率，必要时通过 EXPLAIN 或执行计划观察实际连接策略，并根据数据特征和资源上限进行调整。
  6. 【关键点 1】广播连接将小表广播到所有 Executor，避免 Shuffle。
  7. 【关键点 2】适用场景是一大一小两表等值连接，且小表小于广播阈值。
  8. 【关键点 3】可通过配置或 hint 控制广播连接的使用，但需关注内存开销。
  9. 【易错点 1】不应将所有小表都无条件广播，需考虑表大小和内存限制。
  10. 【易错点 2】广播连接不能保证幂等或其他业务一致性，只影响连接执行方式。