请阐述 Apache Spark 的容错机制设计原理，并说明在 TB 级大规模数据处理场景中，该机制如何保障任务的可靠执行？

回答思路

1. 【回答框架 1】Spark 的容错机制建立在 RDD（弹性分布式数据集）之上。RDD 是不可变的、可分区、可并行计算的数据集合，它记录了从父 RDD 到子 RDD 的转换操作（如 map、filter、join）形成的依赖关系，即血统（Lineage）。当某个分区的数据丢失或计算失败时，Spark 可以通过血统重新计算该分区，而不需要重算整个任务。
2. 【回答框架 2】具体流程是：Spark 将作业拆分为多个阶段，阶段内任务是宽窄依赖。窄依赖（如 map）中父分区丢失，只需重新计算对应的子分区；宽依赖（如 shuffle）中父分区可能被多个子分区依赖，重新计算成本较高。当任务执行失败时，Driver 会通过血统重新调度失败的分区，尽可能只重算受影响的部分。
3. 【回答框架 3】此外，Spark 还提供检查点（Checkpoint）机制，将中间结果持久化到可靠的存储（如 HDFS）中，截断过长的血统链。这样可以避免因血统链过长导致的重算成本过高，尤其适用于迭代式计算或复杂作业。检查点需要用户显式调用，而缓存（cache）则是尽量内存存储，两者目的不同。
4. 【回答框架 4】在大规模数据处理中，该机制使得 Spark 能够在节点故障、数据丢失等异常情况下快速恢复，无需人工干预，大大提高了集群的稳定性和数据处理的可靠性。同时，通过血统和检查点的结合，Spark 在容错的同时也保证了性能，避免了不必要的全量重算，是支撑其处理 PB 级数据的关键设计。
5. 【关键点 1】RDD 的只读和分区特性是容错的基础。
6. 【关键点 2】血统机制通过转换依赖关系实现分区级重算。
7. 【关键点 3】检查点用于截断血统链，避免重算成本过高。
8. 【关键点 4】窄依赖重算开销小，宽依赖重算开销大。
9. 【易错点 1】误以为检查点是自动执行的，实际上需手动调用 checkpoint 方法。
10. 【易错点 2】将缓存（cache）与检查点混淆，缓存仅提升性能，不提供可靠容错。
11. 【易错点 3】忽视宽依赖在重算时的高成本，可能造成性能瓶颈。