请描述使用 PySpark 构建复杂 ETL 流程的方法，并列举关键的优化手段，包括性能调优和资源管理方面。
考察说明
考察对 PySpark ETL 开发模式和性能优化的理解与实践能力。
回答思路
- 【回答框架 1】实现复杂 ETL 时，通常采用分层架构：数据接入层使用 DataFrameReader 读取多种数据源，如 Parquet、JSON、JDBC；转换层利用 DataFrame 的 transform 功能封装业务逻辑，结合 Spark SQL 或 Pandas UDF 处理复杂计算；写入层通过分区、分桶和格式选择（Parquet/Delta）优化存储。作业编排可使用 Airflow，并配置动态资源分配。
- 【回答框架 2】性能优化需从数据倾斜、Shuffle、资源参数、IO 与执行计划五方面入手。处理数据倾斜可对 key 加盐、使用 salting 技术或调整 join 为 broadcast join。减少 Shuffle 采用窄依赖操作，如 filter、map，并用 coalesce 或 repartition 控制分区数。资源参数包括调整 executor 内存、并行度（spark.sql.shuffle.partitions），并启用动态分配。IO 层使用列式存储和压缩（Snappy），并利用谓词下推和分区裁剪。执行计划优化依赖 Catalyst 优化器，必要时使用 explain 分析。
- 【回答框架 3】注意 Spark 的保守内存执行模型：过多缓存或过小内存导致频繁 GC 或磁盘溢出。可使用 checkpoint 提高容错并打断血缘链。此外，应结合 Spark UI 观察 stage 和 task 指标，定位瓶颈。
- 【关键点 1】ETL 分层：读取、转换、写入，使用 DataFrame transform 和 Spark SQL。
- 【关键点 2】数据倾斜常见解决方案：加盐、广播、重分区。
- 【关键点 3】减少 Shuffle：窄依赖操作，避免使用 groupByKey。
- 【关键点 4】资源调优：并行度、executor 内存、动态分配。
- 【关键点 5】执行计划优化：列式存储、谓词下推、explain 分析瓶颈。
- 【易错点 1】不宜简单宣称分区越多越好，实际需结合数据量和资源，避免过多分区导致调度开销过大。
- 【易错点 2】只调整 memory 参数而不关注数据序列化或 GC 配置，可能无法有效提升性能。
- 【易错点 3】将动态分配直接默认开启可能带来资源竞争，需根据集群环境评估。