datax导入MySQL报错_导入MySQL方法对比

使用datax导入

1、使用自增id

记录数

耗时(秒)

TPS

4248882

347

12244

33404813

4038

8272

2、不使用自增id，使用雪花算法生成id后导入

记录数

耗时(秒)

TPS

4248882

680

6248

33404813

6555

5096

使用MySQL命令load导入

1、csv带雪花id

> select * from l_wish_log_snow_copy into outfile '/data2/l_wish_log_snow.csv' fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

> load data infile '/data2/l_wish_log_snow.csv' into table l_wish_log_snow fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

记录数

耗时(秒)

TPS

4248882

52,455

2、自增主键id，load命令

先删除上个步骤中导出的雪花id

> awk -F'\t' '{print $2 "\t" $3 "\t" $4 "\t" $5 "\t" $6 "\t" $7 "\t" $8 "\t" $9 "\t" $10 "\t" $11 "\t" $12 "\t" $13 "\t" $14}' l_wish_log_snow.csv > noid.csv

使用awk分隔符切割，不要第一列，然后连起来就好了，生成不包含id的noid.csv文件，做下一步动作，导入到自增id的表中。

load data infile '/data2/l_wish_log_bak.csv' into table l_wish_log_snow_copy fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n'(deviceid,uid,kid,level,createtime,fighting,version,devicetype,sysversion,platform,num,data,castType);

记录数

耗时(秒)

TPS

4248882

47210

使用load导入33404813行记录时，发现无法导入，报错如下：

mysql> load data infile '/data2/l_add_item_snow.csv' into table l_add_item_log_snow fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

ERROR 1197 (HY000): Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again

MySQL的Innodb引擎是事务型，load文件操作当作一个事务来处理，中途中断load操作，会导致回滚。

max_binlog_cache_size表示能够使用的最大cache内存大小。

当执行多语句事务时，max_binlog_cache_size如果不够大，就会报错，如上所示。

所有产生的binlog会先写入binlog_cache_size，直到load data 的操作结束后，

最后，再由binlog_cache_size 写入二进制日志，如mysql-bin.0000008等。

所以此参数的大小必须大于所要load 的文件的大小，或者当前所要进行的事务操作的大小。

改大max_binlog_cache_size 和binlog_cache_size 问题解决：

mysql> show variables like '%binlog_cache_size';

+-----------------------+------------+

| Variable_name | Value |

+-----------------------+------------+

| binlog_cache_size | 20971520 |