MySQL 批量插入记录报 Error 1390 (HY000)

文章目录

1.背景
2.问题
3.分批插入
4.一次最多能插入多少条记录？
参考文献

1.背景

Golang 后台服务使用 GORM 实现与 MySQL 的交互，在实现一个通过 Excel 导入数据的接口时，使用 Save 方法一次性插入大量记录（>1w）时报了如下错误：

Error 1390 (HY000): Prepared statement contains too many placeholders

2.问题

在 MySQL 官方文档 Server Error Message Reference 可以看到其描述。
在这里插入图片描述
该错误属于 MySQL 服务端错误，可惜的是，官方文档并未给出详细的错误原因，只给出了错误码的简短描述。错误描述字面意思是“预处理语句包含太多占位符”，结合业务场景，猜测原因是一次插入太多记录。

3.分批插入

既然不允许一次插入太多记录，那么可以改为分批插入，而不是一次性插入所有数据。

// 待插入的记录。
records := parseRecordsFromExcel()
batch := 1000for i := 0; i < len(records ); i += batch {end := i + batchif end > len(records) {end = len(record)}return Db.Save(records[i:end]).Error
}

正如预期的那样，改为分批插入，解决了问题。

不知道你有没有疑问，我这里分批插入每批记录数是 1000，那可以采用 2000 或者其他数量吗？每批插入记录数的上限是多少呢？

带着这个疑问，请继续往下看。

4.一次最多能插入多少条记录？

MySQL 服务端之所以报 Error 1390 (HY000) 错误，原因是不允许一次插入过多的记录。更深层次的原因是 MySQL SQL 语句的占位符数量有上限，最大值为 16bits 无符号整数的最大值（65535）。

可以在 sql/sql_prepare.cc 中看到相关代码：

static bool init_param_array(THD *thd, Prepared_statement *stmt) {LEX *lex = stmt->m_lex;if ((stmt->m_param_count = lex->param_list.elements)) {if (stmt->m_param_count > static_cast<uint>(UINT_MAX16)) {/* Error code to be defined in 5.0 */my_error(ER_PS_MANY_PARAM, MYF(0));return true;}...
}