在使用 Airflow 调度大量任务时，若任务规模扩大，需要采用怎样的分布式部署方式？请说明其主要组件和扩展方法。
考察说明
考察对 Airflow 分布式架构的理解，以及应对大规模并发任务的能力。
回答思路
- 【回答框架 1】Airflow 的分布式架构主要由 Scheduler、Web Server、Worker、DAG 文件存储和数据库（如 PostgreSQL/MySQL）组成。Scheduler 负责调度任务，Worker 执行任务，数据库存储元数据。
- 【回答框架 2】随着任务量增加，可以水平扩展 Worker 节点数量，通过 Celery 或 Kubernetes Executor 实现分布式执行。Celery 使用消息队列（如 Redis、RabbitMQ）分发任务，Kubernetes Executor 则动态创建 Pod 执行任务。
- 【回答框架 3】还需要考虑 Scheduler 的性能，可增加 Scheduler 数量（Airflow 2.0 + 支持），并优化 DAG 的解析和调度周期。数据库也应优化配置，避免成为瓶颈。
- 【回答框架 4】整体设计应关注高可用性，例如配置多个 Scheduler 和 Web Server，并使用外部化的 DAG 存储（如 Git 同步）和数据库主备。
- 【回答框架 5】实际实施需结合资源监控和任务优先级，合理设置并发参数，如 parallelism、max_active_runs_per_dag 等，并采用队列划分不同任务类型。
- 【关键点 1】Airflow 分布式架构核心组件包括 Scheduler、Worker、Executor 和元数据库。
- 【关键点 2】水平扩展 Worker 是提升并发能力的主要手段，使用 Celery 或 Kubernetes Executor 实现。
- 【关键点 3】Scheduler 和数据库也可能成为瓶颈，需一并优化。
- 【关键点 4】配置高可用时需考虑 Scheduler 和 Web Server 的冗余部署。
- 【易错点 1】过度依赖单一组件（如消息队列）可能导致单点故障。
- 【易错点 2】并行度配置不当可能引起数据库锁竞争或资源耗尽。
- 【易错点 3】忽略任务本身的资源占用（如 CPU、内存）会导致 worker 过载。