NiFi 是美国国家安全局开发并使用了 8 年的可视化数据集成产品,2014 年 NAS 将其贡献给了 Apache 社区,2015 年成为 Apache 顶级项目。
大数据平台都需要进行数据流转,Apache Nifi 作为一款强大的数据流开源软件,支持大量的输入输出方式,能够对数据进行灵活的处理,拥有基于 Web 的可视化操作页面。
在本场 Chat 中,会讲到如下内容:
- 多表导入需求
- 需求分析
- 数据准备
- PartitionRecord Processor 介绍(数据按条分割+提取属性)
- Nifi 变量处理
- 多表导入流程配置实战
- 限制内存中的数据量
- Nifi 官方源码上直接开发 Processor
- PutDatabaseRecord 字段自动去下划线问题分析
- PutDatabaseRecord 插件双引号增加问题分析及处理
适合人群: 对大数据平台、数据流、ETL 感兴趣的技术或运维人员