DataStream 编程模型

Flink定义DataStream API让用户灵活且高效的编写流式应用。主要分为3部分：DataSource模块，Transformation模块以及DataSink模块。

1. DataSource模块，主要定义了数据接入功能，将外部数据接入至flink，并将接入数据转换成对应的datastream数据集。
2. Transformation 模块定义了对 DataStream 数据集的各种转换操作，例如进行 map、filter、windows等操作。
3. 最后，将结果数据通过Datasink模块写出到外部存储介质中，例如将数据输出到文件或Kaka消息中间件等。

今天主要讲DataSources：

DataSources数据输入

DataSources 模块定义了DataStream API中的数据输人操作，Flink将数据源主要分为的内置数据源和第三方数据源两种类型。其中内置数据源包含文件、Socket网络端口以及集合类型数据，其不需要引人其他依赖库，且在Flink系统内部已经实现，用户可以直接调用相关方法使用。第三方数据源定义了Flink和外部系统数据交互的逻辑，包括数据的读写接口。在Flink中定义了非常丰富的第三方数据源连接器(Connector)，例如Apache kafka Connector、Elatic Search Connector等。同时用户也可以自定义实现Flink中数据接人函数 SourceFunction，并封装成第三方数据源的Connector，完成Flink与其他外部系统的数据交互。

内置数据源

1. 文件数据源：flink支持将文件内容读取到系统中，并转换成分布式数据集DataStream进行数据处理。readFile时可以指定文件读取类型（WatchType），检测文件变换时间间隔（interval）、文件路径过滤条件（FilePathFilter）等参数。watchtype分为PROCESS_CONTINUOUSLY和PROCESS_ONCE模式，前置检测到文件内容变化会加载全部内容到Flink；而后者只加载变化的数据，即数据只被读取、处理一次。因此后一种方式才能保证Exactly Once级别的数据一致性保障
2. Socket数据源：参数为IP地址和端口。
3. 集合数据源：Flink可以直接将集合类（collection）转换成datastream数据集，本质上是将本地集合中的数据分发到远端并行执行的节点中。注意集合内的数据结构需要一致，否则可能出现数据转换异常。

外部数据源

1. 数据源连接器
   前面提到的数据源类型都是些基本的数据接人方式，其实质是实现了不同的SourceFuncion，Fink将其封装成高级API，减少用户的使用成本。
   对于流式计算类型的应用，数据大部分都是从外部第三方系统中获取。Flink定义了非常丰富的第三方数据连接器：

• 其中部分连接器是仅支持读取数据，例如Netty等;
• 一部分仅支持数据输出(Sink)：Elasticsearch、Hadoop FileSystem等。
• 还有一部分是支持数据输入和输出：例如 Apache Kafka、Amazon Kinesis连接器。例如kafka connector中使用的主要参数有：kafka topic、bootstrap.servers、zookeeper.connect。

1. 自定义数据源连接器。可以通过实现SourceFunction定义单个现成的接入的数据接入其，也可以实现parallelSourceFunction接口定义并发数据源接入器。