我要招人

SQL面试题更新 2026-08-03

请解释在 Spark SQL 中，利用 DataFrame API 进行复杂查询和聚合操作的具体方法。

考察说明

考查候选人对 Spark SQL 中 DataFrame API 进行复杂数据处理操作的掌握程度。

回答思路

  1. 【回答框架 1】DataFrame API 提供声明式操作，如 select、filter、groupBy、agg、join、withColumn 等，可组合实现复杂查询。例如，使用 groupBy 和 agg 进行分组聚合，支持 sum、avg、count、max、min 等内置聚合函数。
  2. 【回答框架 2】对于复杂条件，可使用基于列的表达式，如 col、expr、when、otherwise 实现条件逻辑，结合 filter 和 where 进行数据过滤。join 操作支持多种连接类型，如 inner、left、right、full，用于多表关联。
  3. 【回答框架 3】窗口函数可用于排名、累计等分析，通过 partitionBy 和 orderBy 定义窗口，调用 row_number、rank、dense_rank、lag、lead、sum 等函数。注意窗口函数在 DataFrame API 中的使用需要 import org.apache.spark.sql.expressions.Window。
  4. 【回答框架 4】处理复杂数据结构时，可使用 explode、split、array_contains 等函数处理数组和 Map，或使用 struct、getField 操作嵌套数据。合理使用 UDF（用户自定义函数）处理特定业务逻辑，但注意性能影响。
  5. 【关键点 1】DataFrame API 支持声明式操作，代码可读性高，适合复杂查询。
  6. 【关键点 2】聚合操作使用 groupBy 和 agg，支持内置函数和自定义聚合。
  7. 【关键点 3】窗口函数用于分组内部的计算，需指定 partitionBy 和 orderBy。
  8. 【关键点 4】处理嵌套结构时，使用 explode 等函数展开数组，或使用 struct 组合列。
  9. 【易错点 1】窗口函数若未正确指定 partitionBy 或 orderBy，可能导致结果与预期不符。
  10. 【易错点 2】UDF 使用过多会带来性能开销，应优先使用内置函数。
  11. 【易错点 3】对于数据倾斜，groupBy 可能引发性能问题，需考虑加盐等优化。