请阐述 Flume 的可靠性设计，包括其容错机制的具体实现，以及当某个 Agent 发生故障时，系统是如何应对和处理的？

回答思路

1. 【回答框架 1】Flume 的可靠性主要依靠事务保证和三大组件间的可靠性语义。Source 端通过 Channel 的 put 事务写入数据，Executor 通过 take 事务从 Channel 取出数据并发送到 Sink；Sink 只有在收到下游确认后才提交事务，否则回滚。
2. 【回答框架 2】Channel 是核心的可靠性缓冲，支持内存、文件等类型，文件 Channel 通过磁盘存储和 WAL（预写日志）提供持久化，避免 Agent 重启或崩溃导致数据丢失。
3. 【回答框架 3】处理 Agent 失效时，Flume 自身不提供全局高可用，而是依赖多级 Agent 流和冗余拓扑。例如在 Source 端接入多个 Agent，或配置 Failover Sink Processor 和 Load-balancing Sink Processor，当主 Sink 失败时切换到备用 Sink，实现 Sink 级故障转移。
4. 【回答框架 4】此外，Flume 通过配置 Event 的 batch、重试次数和 backoff 参数控制发送可靠性；数据从 Agent 发送到下游（如 HDFS）时，HDFS Sink 会基于文件路径和 batch 大小定期滚动文件，避免同批次部分数据写入问题，同时利用 HDFS 的副本机制确保最终存储可靠。
5. 【回答框架 5】需要明确的是，Flume 的容错主要针对 Agent 内组件和 Sink 故障，若 Agent 进程崩溃，文件 Channel 可保证已提交数据不丢失，但未提交到 Channel 的数据可能丢失；端到端精确一次语义需要额外机制或下游幂等。
6. 【关键点 1】Flume 的事务机制：put 事务和 take 事务保证数据从 Source 到 Sink 的可靠性。
7. 【关键点 2】Channel 的持久化能力（文件 Channel 使用 WAL）是故障恢复的基础。
8. 【关键点 3】Failover 和 Load-balancing Sink Processor 提供 Sink 级故障转移。
9. 【关键点 4】多层 Agent 拓扑可提高整体可用性，但 Flume 本身没有全局 HA。
10. 【关键点 5】Flume 无法保证端到端精确一次，需要下游幂等或额外策略。
11. 【易错点 1】误认为 Flume 支持端到端精确一次或全局高可用。
12. 【易错点 2】忽略文件 Channel 与内存 Channel 在可靠性上的差异。
13. 【易错点 3】混淆 Sink Processor 的故障转移与 Agent 进程故障处理。