请说明在 Spark SQL 中，使用动态分区插入来提升性能的具体做法和原理。

回答思路

1. 【回答框架 1】动态分区插入是指在写入数据时，Spark 根据分区列的值自动创建分区目录，无需预先定义所有分区。其核心机制是写入时对每条记录的分区列进行求值，并将数据按分区列值进行重分区或排序，然后每个任务只写入对应分区目录。
2. 【回答框架 2】性能提升的关键在于减少写入小文件的数量。动态分区插入时，Spark 会通过动态分区插入的优化策略，如对分区列进行排序或使用哈希分发，使每个分区对应的数据尽量集中到少数任务中，从而减少每个分区产生的文件数，降低元数据开销和后续读取的扫描成本。
3. 【回答框架 3】要充分发挥性能优势，需合理设置相关参数，如 spark.sql.shuffle.partitions 控制 shuffle 并行度，spark.sql.adaptive.enabled 启用自适应查询执行以动态调整分区数，以及 spark.sql.adaptive.coalescePartitions.enabled 合并小分区。此外，可考虑使用分区列作为排序键，使同一分区的数据连续写入。
4. 【回答框架 4】实际应用中，还需注意数据倾斜问题，若分区列值分布不均，可能导致部分任务处理大量数据，反而降低性能。可结合分桶或 salting 技术缓解。同时，动态分区插入相比静态分区插入更灵活，但可能产生更多小文件，需权衡。
5. 【回答框架 5】在写入前，可先对数据进行预处理，如过滤无效分区值、统一分区列格式，以减少不必要的分区创建。另外，使用 INSERT OVERWRITE 或 INSERT INTO 时，动态分区插入的行为不同，需根据需求选择。
6. 【关键点 1】动态分区插入自动创建分区目录，减少手动指定分区的繁琐。
7. 【关键点 2】通过减少小文件数量提升写入和后续查询性能。
8. 【关键点 3】合理设置 shuffle 分区数和启用自适应执行可优化性能。
9. 【关键点 4】数据倾斜可能导致性能下降，需针对性处理。
10. 【关键点 5】动态分区插入比静态分区更灵活，但可能产生更多小文件。
11. 【易错点 1】忽略数据倾斜，导致部分任务过载。
12. 【易错点 2】未调整 shuffle 分区数，造成过多小文件或资源浪费。
13. 【易错点 3】误以为动态分区插入总是更快，实际需根据数据分布和集群资源评估。