在 Spark Streaming 中，如何调整和优化数据处理延迟？请列出并解释一些降低延迟的具体策略。
考察说明
考察对 Spark Streaming 延迟控制的理解及调优实践经验。
回答思路
- 【回答框架 1】Spark Streaming 延迟主要取决于批处理间隔（batch interval）和每个批次的处理时间。延迟 = 批处理间隔 + 处理时间 + 调度开销，通过监控 processedRows/s 和 scheduling delay 可定位瓶颈。
- 【回答框架 2】降低延迟的核心思路是缩短批处理间隔，但需权衡吞吐量，间隔过短导致任务调度开销占比升高。可尝试使用 Structured Streaming 的微批或连续处理模式，连续处理提供毫秒级延迟。
- 【回答框架 3】提升处理速度：合理设置并行度（如分区数）、使用 Kryo 序列化、内存调优、避免 shuffle 和倾斜，并启用背压（backpressure）机制防止数据积压。
- 【回答框架 4】针对状态操作（如 updateStateByKey），优化状态存储（如采用 RocksDB 或内存状态存储），并控制状态大小。合理设置 checkpoint 间隔，平衡恢复时间与性能。
- 【回答框架 5】如果延迟仍不符合要求，可考虑使用 Flink 等低延迟流处理引擎，但需评估迁移成本。
- 【关键点 1】延迟由批处理间隔、处理时间和调度开销组成。
- 【关键点 2】缩短批处理间隔会增加调度开销，需平衡。
- 【关键点 3】Structured Streaming 连续处理提供毫秒级延迟。
- 【关键点 4】使用背压机制和优化并行度可降低延迟。
- 【关键点 5】状态存储和 checkpoint 也会影响延迟。
- 【易错点 1】盲目减小批处理间隔可能导致系统吞吐下降或资源浪费。
- 【易错点 2】忽略背压配置，导致数据积压和延迟增加。
- 【易错点 3】状态过大未优化，导致处理时间飙升。