请说明在HDFS集群中，为了提升数据传输效率，网络拓扑的设计与优化策略有哪些？
考察说明
考察对HDFS网络拓扑感知机制及优化策略的理解。
回答思路
- 【回答框架 1】HDFS网络拓扑感知（Network Topology-Aware）是核心机制。它通过树形结构（如 /default-rack、/rack-1）描述节点位置，NameNode利用此信息计算节点间距离，距离函数基于共同祖先深度：相同节点距离为0，同机架为2，跨机架为4。目标是优先选择就近副本以减少跨机架流量。
- 【回答框架 2】设计优化包括：将数据本地性（Data Locality）优先级设为：本地节点>同机架>跨机架；合理规划机架大小（通常每机架几十台），平衡容错（如副本跨机架）与带宽；使用机架感知脚本（rack-topology.sh）正确反映实际网络分层，避免默认单机架造成的性能瓶颈。
- 【回答框架 3】针对优化：启用短路本地读（Short-Circuit Local Reads）和HDFS联邦（Federation）以减轻元数据压力；考虑使用Erasure Coding降低副本数，但需注意其网络开销；监控DataNode负载与网络带宽，调整复制流水线策略，如修改副本放置策略（如ReplicaPlacementPolicy）。
- 【回答框架 4】部署层面：高密度机架搭配核心网络（如Spine-Leaf架构）以减少南北流量；使用机架间高速链路（如RDMA）提升跨机架吞吐；结合数据倾斜情况，动态调整HDFS块大小（如增大至256MB或更大）以减少网络传输次数。
- 【关键点 1】网络拓扑感知通过树形距离（如机架距离）影响副本放置与读取选择。
- 【关键点 2】优化需平衡数据本地性、容错与带宽，优先同机架读取。
- 【关键点 3】机架感知脚本正确性至关重要，否则NameNode无法做出正确决策。
- 【关键点 4】Erasure Coding可降低存储开销但增加网络编码开销，需权衡。
- 【关键点 5】硬件和架构如Spine-Leaf和RDMA能提升跨机架性能。
- 【易错点 1】仅增加网络带宽而不优化拓扑感知，可能无法充分利用本地性。
- 【易错点 2】副本跨机架过多会增大写放大和网络负载，过少则影响容错。
- 【易错点 3】网络拓扑脚本错误或未配置，会导致所有节点被认为在同一机架，引起流量集中。