1. DataX中null值的输出
mysql经过dataX的传输后,默认会将null转换为空字符串"",而hive中默认的null值存储格式为\N.
解决方案:
- 修改datax底层源码
- 修改hive默认null值为
''
空字符串
2. Hive的安装
- 解压安装,修改文件名为hive
- 在lib目录下,将log4j-slf4j-impl-2.17.1.jar改名为log4j-slf4j-impl-2.17.1.jar.bak,防止jar包冲突
- 配置Hive环境变量,使用hi命令测试能否出现命令提示
- 拷贝mysql驱动包
- 在conf目录下,添加vim hive-site.xml文件,配置jdbc连接,驱动,hive的数据存储路径,主机所在位置参数
- 登录MySQL,创建元数据库,初始化元数据库。
- 修改元数据库字符集,改为utf8,默认是拉丁文字符集。
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;