后端岗位面试题更新 2026-08-05

在Hive中指定Spark作为计算引擎时,任务调度是如何进行的?请描述从提交Hive查询到Spark任务执行的完整调度链路。

掌阅科技后端开发问题拆解技术原理Apache HiveApache Spark

考察说明

考察对Hive on Spark架构及Spark任务调度机制的理解

回答思路

  1. 能说明Hive查询转换为Spark作业的过程
  2. 能描述Spark的DAG调度器与任务调度器分工
  3. 能指出Executor资源分配与任务执行的关系
  4. 能提及作业提交的入口类与核心配置