数据岗位面试题更新 2026-08-05

请介绍 Hadoop 中常见的作业调度器分类,并结合实际业务场景说明选型时应考虑哪些因素。

数据技术原理技术选型方案权衡Apache Hadoop

考察说明

考查对 Hadoop 调度器种类及其适用场景的理解,以及选型时的权衡能力。

回答思路

  1. 【回答框架 1】Hadoop 默认提供三种调度器:FIFO、容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)。FIFO 按提交顺序执行作业,先来先服务,简单但易出现队头阻塞,不适合共享集群。
  2. 【回答框架 2】容量调度器将集群资源划分为多个队列,每个队列分配一定容量,队列内可再分层,支持弹性共享和隔离,适合多租户、多部门共享集群,保证资源公平性和利用率。
  3. 【回答框架 3】公平调度器在作业间动态分配资源,使每个作业获得大致相等的资源份额,支持抢占和延迟调度,适合对响应时间敏感、作业长短不均的场景。
  4. 【回答框架 4】选型时需考虑集群规模、作业类型(批处理或交互式)、SLA 要求、多租户隔离需求、运维复杂度以及是否需支持资源抢占。生产环境常用容量或公平调度器,FIFO 仅用于单用户或测试环境。
  5. 【关键点 1】FIFO 先来先服务,简单但隔离性差;容量调度器按队列隔离且支持弹性;公平调度器按作业公平共享。
  6. 【关键点 2】多租户共享集群优先选容量调度器,看重公平性或作业长短混合则选公平调度器。
  7. 【关键点 3】选型需结合资源利用率、SLA、隔离需求和运维成本综合判断。
  8. 【易错点 1】不区分场景直接说 FIFO 最合适,忽略其队头阻塞和缺少隔离的缺陷。
  9. 【易错点 2】误认为公平调度器默认开启抢占,实际需显式配置。
  10. 【易错点 3】忽略调度器对延迟和吞吐量的影响,只考虑资源分配公平性。