数据采集:
实时采集:
Debezuim
Debezuim是构建在 Apach Kafka之上,并提供Kafka连接器来监视特定的数据库管理(采集多种数据库)
Canal
canal 是阿里开发,用于实时采集Mysql 当中变化的数据
maxwell,flinkX,flinkCDC
离线采集:
Sqoop
DataX
致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP,MongDB等各种异构数据源之间稳定高效的数据同步功能
消息中间件
Kafka,Zookeeper