请说明如何使用 PySpark 中的 Spark Streaming 组件来构建实时数据处理流程？
考察说明
考查对 PySpark Streaming 实时处理框架的理解以及构建实时处理流程的能力。
回答思路
- 【回答框架 1】Spark Streaming 是基于微批处理的流计算引擎，将实时数据流切分为小批量数据，通过 Spark 的 RDD 操作进行批处理，实现准实时处理。主要思路是使用 DStream（离散化流）抽象来表示持续的数据流，DStream 由一系列 RDD 序列组成。
- 【回答框架 2】实现步骤：首先创建 SparkConf 和 StreamingContext 对象，设置批处理间隔（如 1-5 秒）。然后从数据源接收数据，常见数据源包括 Kafka、Flume、TCP socket 等，使用 socketTextStream 或 KafkaUtils.createDirectStream 等 API 创建输入 DStream。接下来对 DStream 应用转换操作（如 map、filter、reduceByKey）和输出操作（如 foreachRDD）来处理数据。最后调用 start() 和 awaitTermination() 启动流处理应用。
- 【回答框架 3】实时处理的关键是合理设置批处理间隔，间隔越小延迟越低但系统开销越大，需根据数据量和资源情况权衡。此外，需考虑背压机制（背压）和 checkpoint 机制，checkpoint 用于故障恢复和状态管理。
- 【回答框架 4】当前更推荐使用 Structured Streaming，它基于 DataFrame/Dataset API，提供更高级的流处理语义和 exactly-once 语义，而 Spark Streaming 基于 RDD，仅提供 at-least-once 语义。但在某些场景下，Spark Streaming 仍可使用。
- 【关键点 1】Spark Streaming 采用微批处理模式，通过 DStream 抽象实现实时流处理。
- 【关键点 2】核心 API 包括 StreamingContext、DStream、转换操作和输出操作。
- 【关键点 3】常用数据源有 Kafka、socket 等，通过相应方法创建输入流。
- 【关键点 4】需设置 checkpoint 以支持故障恢复和状态管理。
- 【关键点 5】实际开发中推荐使用 Structured Streaming 以获得更强的一致性和易用性。
- 【易错点 1】注意 Spark Streaming 的实时性是微批处理，并不是逐条处理，延迟受批处理间隔限制。
- 【易错点 2】若需 exactly-once 语义，需结合数据源和输出系统的幂等性，Spark Streaming 本身仅保证 at-least-once。
- 【易错点 3】背压设置需谨慎，不当可能导致资源瓶颈或数据堆积。