1.源数据CSV文件日期字段值:
2.hive DDL语句:
CREATE EXTERNAL TABLE `test.textfile_table1`(`id` int COMMENT '????', `name` string COMMENT '??', `gender` string COMMENT '??', `birthday` date COMMENT '????',.......)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ( 'field.delim'=',', 'line.delim'='\n', 'serialization.format'=',')
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION'hdfs://ambari-hadoop1:8020/warehouse/tablespace/external/hive/test.db/textfile_table1'
TBLPROPERTIES ('bucketing_version'='2', 'discover.partitions'='true', 'transient_lastDdlTime'='1708312247');
3.利用LOAD DATA 加载语句加载数据后发现date日期字段未被成功加载:
4.猜测为日期格式问题,在hive中日期格式如下YYYY-MM-DD,而CSV中是YYYY/MM/DD:
调整后成功解决。
5.原因分析:利用dbeaver三方工具导出CSV文件后,利用WPS打开编辑保存后,YYYY-MM-DD被更改为YYYY/MM/DD导致load data失败。