1.流处理的核心概念
•实时 vs微批处理：理解了 Spark
Streaming 的微批处理（Micro-Batch）模型，将流数据切分为小批次（如1秒间隔）进行处理，与真正的流处理（如Flink）的区别。
・DStream （Discretized Stream）：掌握了
DStream 的抽象，它是一系列连续的RDD，通过转换操作（如 map、reduceByKey）实现流式计算。
2. Spark Streaming 的架构
•Driver 和 Worker 分工：Driver 负责调度任务，Worker 执行具体的计算任务，与 Spark
核心架构一致。
•容错机制：通过 RDD的血缘（Lineage）和检查点（Checkpoint） 实现故障恢复，确保数据不丢失。
•背压机制（Backpressure）：动态调整接收
速率以避免数据釈圧（Spark 1.5+支持）。
3.关键技术与 API 使用
• 输入源 （Input Sources）：熟悉了从
Kafka、Socket、HDFS、自定义源等读取数据的方法，尤其是 Kafka Direct API 的高效集成。
• 窗口操作（Window Operations）：学会了滑动窗口（如 window、
reduceByKeyAndWindow）的应用场景，例如统计最近 N秒的指标。
•状态管理（Stateful Processing）：通过
updateStateByKey 或 mapwithState 实现跨批次的状态维护（如用户会话跟踪）。
4.性能优化与调优
•并行度调整：通过 repartition 或修改批次间隔（Batch Interval）优化吞吐量。
•资源分配：合理设置 Executor 内存、CPU核心数，避免 GC开销或数据倾斜。
•检查点优化：合理配置检查点目录和频率，平衡容错和性能。
5.与其他工具的集成
• Kafka 集成：掌握了
KafkaUtils.createDirectStream 的使用，理解了如何保证 Exactly-Once 语义。
・Spark SQL 結合：在流処理中週用 Spark
SQL 分析数据（如将 DStream 转为
DataFrame) .
•机器学习：使用
StreamingLinearRegressionWithSGD
等算法实现实时模型更新。
)