我要招人

SQL面试题更新 2026-08-05

在 Spark SQL 中，你会如何执行数据分区？这种分区操作对性能会产生哪些影响？

数据性能优化风险判断技术原理Spark SQL

考察说明

考察对 Spark SQL 分区概念、操作方式及性能影响的理解。

回答思路

  1. 【回答框架 1】分区是将数据按照某一列的值划分成多个目录或文件，Spark SQL 可通过 partitionBy 在写入时指定分区列，例如 df.write.partitionBy("date").parquet("path")，或使用 SQL 的 INSERT OVERWRITE TABLE ... PARTITION 语法。
  2. 【回答框架 2】分区能减少查询扫描的数据量，当查询条件包含分区列时，Spark 会根据分区裁剪只读取相关目录，显著提升查询性能。同时，分区便于数据管理和生命周期管理。
  3. 【回答框架 3】分区数量过多或过少都会影响性能：过多分区会导致大量小文件，增加文件元数据和任务调度开销；过少分区可能导致数据倾斜和并行度不足。
  4. 【回答框架 4】还需注意分区列的选择，应选择基数适中且常用的过滤列；避免使用高基数列如用户ID作为分区列，否则会产生大量小文件。
  5. 【回答框架 5】在实际应用中，可采用动态分区写入，并合理设置 spark.sql.shuffle.partitions 和文件大小参数，同时结合分区修剪和谓词下推优化查询。
  6. 【关键点 1】Spark SQL 通过 partitionBy 或 SQL 语法进行分区。
  7. 【关键点 2】分区裁剪可减少扫描数据量，提升查询性能。
  8. 【关键点 3】分区数过多会导致小文件问题，过少则降低并行度。
  9. 【关键点 4】分区列应选择基数适中且常用于过滤的列。
  10. 【易错点 1】认为分区数越多性能越好，忽略小文件开销。
  11. 【易错点 2】使用高基数列作为分区列，导致大量小文件和元数据压力。
  12. 【易错点 3】未合理设置 shuffle 分区数，导致动态分区写入性能低下。