请说明在数据工程实践中，使用 Airflow 进行跨系统任务调度与数据流管理时，你会如何设计 DAG 与任务依赖，并确保数据在不同系统间的可靠传递与监控？
考察说明
考察候选人对 Airflow 核心概念的理解以及在真实跨系统场景中的架构设计与工程实践能力。
回答思路
- 【回答框架 1】Airflow 是以 DAG 为核心的有向无环图任务调度器，通过调度器周期性实例化 DAG Run 并依据依赖关系派发任务到执行器，跨系统场景需明确任务边界与数据流向。
- 【回答框架 2】设计思路应先梳理系统间数据交换方式，如数据库读写、API 调用、文件传输或消息队列，将每个交互点封装为独立任务，并用 Airflow 的依赖机制定义先后顺序，确保数据准备完成后再触发下游消费。
- 【回答框架 3】为保障数据可靠传递，应关注幂等性与重试机制，任务需设计为可重复执行而不产生重复数据，可结合 Airflow 的重试参数、超时设置以及数据唯一键或状态记录来实现。
- 【回答框架 4】监控与可观测性需覆盖任务状态、运行时长、数据质量校验以及失败告警，可利用 Airflow 的日志、sla_miss 回调及外部监控系统集成，对关键数据流转添加校验步骤。
- 【回答框架 5】复杂场景可拆分多个 DAG 或使用 SubDAG 与 TaskGroup 组织任务，但需避免过度耦合与调度开销，同时考虑执行器资源与队列配置以支撑跨系统的高并发调度。
- 【关键点 1】明确 DAG 与任务依赖是调度的基础，跨系统需按数据流切分任务。
- 【关键点 2】任务设计需保证幂等与可重试，配合 Airflow 的 retry 与超时机制。
- 【关键点 3】数据质量校验与监控告警是跨系统数据流管理的关键环节。
- 【关键点 4】合理使用 TaskGroup 与子 DAG 组织复杂任务，平衡可维护性与性能。
- 【关键点 5】调度资源与执行队列的规划影响跨系统调度的稳定性与效率。
- 【易错点 1】忽略任务幂等性，重试可能产生重复数据或脏数据。
- 【易错点 2】过度依赖外部系统状态，未设置合理的超时与失败处理。
- 【易错点 3】监控缺失，数据质量问题难以追溯，影响下游依赖。