用sqoop从HDFS导出数据到mysql,一直卡在Running job: job_1571036741208_0010,应该是内存太小,导致速度太慢
在
yarn-site-xml中增加下面两个,然后分发给各个节点,再重启yarn即可
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> <discription>每个节点可用内存,单位MB</discription></property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> <discription>单个任务可申请最少内存,默认1024MB</discription> </property>
到map 100% reduce 0%不动了
内存大了以后,这里应该是数据有问题,要不然就是建表有问题,就是数据和表结构或编码冲突
长度溢出:导入的数据超过mysql表的字段长度
主键重复 :因为数据中有重复的主键的值(主键不能重复)
等