在 Spark SQL 中，如何通过查看 DAG 图来优化 SQL 执行或判断 SQL 改写是否正确？

Question

Accepted Answer

考察点：考察对 Spark DAG 图的理解及基于 DAG 分析的 SQL 优化能力。回答思路：能识别 DAG 图中的关键节点（如 Exchange、Shuffle、Broadcast、WholeStageCodegen） 能通过 DAG 判断是否存在数据倾斜、不必要 Shuffle 或 Join 策略选择不当 能举例说明根据 DAG 信息调整 SQL 或配置以优化性能

在 Spark SQL 中，如何通过查看 DAG 图来优化 SQL 执行或判断 SQL 改写是否正确？

考察说明

回答思路