mybatis insert 忽略 联合唯一索引_MySQL实战中,Insert语句的使用心得总结

456c71b4d42c03740509126f22bbb4ad.png
提到MySQL的Insert语句,你肯定不陌生,或许已经张口就来:不就是insert into table values(xxx,xxx,xxx)嘛!没错,但在实战中,根据不同的需求场景,插入操作在语法、执行方式上的用法多种多样。今天,我来给小伙伴们从这两方面分享一下搬砖心得,如果你有疑问或好的想法,记得在评论区给我留言,我会在搬砖之余和大家一起吃瓜喔~

一、Insert的几种语法

1-1.普通插入语句

INSERT INTO table (`a`, `b`, `c`, ……) VALUES ('a', 'b', 'c', ……);

这里不再赘述,注意顺序即可,不建议小伙伴们去掉前面括号的内容,别问为什么,容易被同事骂。

9b35e5cfd1f4415a4c15bec122b145f9.png

1-2.插入或更新

如果我们希望插入一条新记录(INSERT),但如果记录已经存在,就更新该记录,此时,可以使用"INSERT INTO … ON DUPLICATE KEY UPDATE …"语句:

情景示例:这张表存了用户历史充值金额,如果第一次充值就新增一条数据,如果该用户充值过就累加历史充值金额,需要保证单个用户数据不重复录入。

这时可以使用"INSERT INTO … ON DUPLICATE KEY UPDATE …"语句。

注意事项:"INSERT INTO … ON DUPLICATE KEY UPDATE …"语句是基于唯一索引或主键来判断唯一(是否存在)的。如下SQL所示,需要在username字段上建立唯一索引(Unique),transId设置自增即可。

-- 用户陈哈哈充值了30元买会员
INSERT INTO total_transaction (t_transId,username,total_amount,last_transTime,last_remark) VALUES (null, 'chenhaha', 30, '2020-06-11 20:00:20', '充会员') ON DUPLICATE KEY UPDATE  total_amount=total_amount + 30, last_transTime='2020-06-11 20:00:20', last_remark ='充会员';-- 用户陈哈哈充值了100元买瞎子至高之拳皮肤
INSERT INTO total_transaction (t_transId,username,total_amount,last_transTime,last_remark) VALUES (null, 'chenhaha', 100, '2020-06-11 20:00:20', '购买盲僧至高之拳皮肤') ON DUPLICATE KEY UPDATE total_amount=total_amount + 100, last_transTime='2020-06-11 21:00:00', last_remark ='购买盲僧至高之拳皮肤';

若username='chenhaha'的记录不存在,INSERT语句将插入新记录,否则,当前username='chenhaha'的记录将被更新,更新的字段由UPDATE指定。

对了,ON DUPLICATE KEY UPDATE为MySQL特有语法,比如在MySQL迁移Oracle或其他DB时,类似的语句要改为MERGE INTO语法,兼容性让人想骂街。但没办法,就像用WPS写的xlsx用Office无法打开一样。

1-3.插入或替换

如果我们想插入一条新记录(INSERT),但如果记录已经存在,就先删除原记录,再插入新记录。

情景示例:这张表存的每个客户最近一次交易订单信息,要求保证单个用户数据不重复录入,且执行效率最高,与数据库交互最少,支撑数据库的高可用。

此时,可以使用"REPLACE INTO"语句,这样就不必先查询,再决定是否先删除再插入。

"REPLACE INTO"语句是基于唯一索引或主键来判断唯一(是否存在)的。"REPLACE INTO"语句是基于唯一索引或主键来判断唯一(是否存在)的。"REPLACE INTO"语句是基于唯一索引或主键来判断唯一(是否存在)的。

注意事项:如下SQL所示,需要在username字段上建立唯一索引(Unique),transId设置自增即可。

-- 20点充值
REPLACE INTO last_transaction (transId,username,amount,trans_time,remark) VALUES (null, 'chenhaha', 30, '2020-06-11 20:00:20', '会员充值');-- 21点买皮肤
REPLACE INTO last_transaction (transId,username,amount,trans_time,remark) VALUES (null, 'chenhaha', 100, '2020-06-11 21:00:00', '购买盲僧至高之拳皮肤');

若username='chenhaha’的记录不存在,REPLACE语句将插入新记录(首次充值),否则,当前username='chenhaha’的记录将被删除,然后再插入新记录。

id不要给具体值,不然会影响SQL执行,业务有特殊需求除外。

小tips:ON DUPLICATE KEY UPDATE:如果插入行出现唯一索引或者主键重复时,则执行旧的update;如果不会导致唯一索引或者主键重复时,就直接添加新行。REPLACE INTO:如果插入行出现唯一索引或者主键重复时,则delete老记录,而录入新的记录;如果不会导致唯一索引或者主键重复时,就直接添加新行。

replace into 与 insert on deplicate udpate 比较:

  • 1、在没有主键或者唯一索引重复时,replace into 与 insert on deplicate udpate 相同。
  • 2、在主键或者唯一索引重复时,replace是delete老记录,而录入新的记录,所以原有的所有记录会被清除,这个时候,如果replace语句的字段不全的话,有些原有的比如c字段的值会被自动填充为默认值(如Null)。
  • 3、细心地朋友们会发现,insert on deplicate udpate只是影响一行,而REPLACE INTO可能影响多行,为什么呢?写在文章最后一节咯~

1-4.插入或忽略

如果我们希望插入一条新记录(INSERT),但如果记录已经存在,就啥事也不干直接忽略,此时,可以使用INSERT IGNORE INTO …语句:情景很多,不再举例赘述。

注意事项:同上,"INSERT IGNORE INTO …"语句是基于唯一索引或主键来判断唯一(是否存在)的,需要在username字段上建立唯一索引(Unique),transId设置自增即可。

-- 用户首次添加
INSERT IGNORE INTO users_info (id, username, sex, age ,balance, create_time) VALUES (null, 'chenhaha', '男', 26, 0, '2020-06-11 20:00:20');-- 二次添加,直接忽略
INSERT IGNORE INTO users_info (id, username, sex, age ,balance, create_time) VALUES (null, 'chenhaha', '男', 26, 0, '2020-06-11 21:00:20');

二、大量数据插入

2-1、三种处理方式

2-1-1、单条循环插入

我们取10w条数据进行了一些测试,如果插入方式为程序遍历循环逐条插入。在mysql上检测插入一条的速度在0.01s到0.03s之间。

逐条插入的平均速度是0.02*100000,也就是33分钟左右。

下面代码是测试例子:
1普通循环插入100000条数据的时间测试

    @Testpublic void insertUsers1() {User user = new User();user.setUserName("提莫队长");user.setPassword("正在送命");user.setPrice(3150);user.setHobby("种蘑菇");for (int i = 0; i < 100000; i++) {user.setUserName("提莫队长" + i);// 调用插入方法userMapper.insertUser(user);}}

执行速度是30分钟也就是0.018*100000的速度。可以说是很慢了

发现逐条插入优化成本太高。然后去查询优化方式。发现用批量插入的方法可以显著提高速度。

将100000条数据的插入速度提升到1-2分钟左右↓

2-1-2、修改SQL语句批量插入

insert into user_info (user_id,username,password,price,hobby)values (null,'提莫队长1','123456',3150,'种蘑菇'),(null,'盖伦','123456',450,'踩蘑菇');

用批量插入插入100000条数据,测试代码如下:

    @Testpublic void insertUsers2() {List<User> list= new ArrayList<User>();User user = new User();user.setPassword("正在送命");user.setPrice(3150);user.setHobby("种蘑菇");for (int i = 0; i < 100000; i++) {user.setUserName("提莫队长" + i);// 将单个对象放入参数list中list.add(user);}userMapper.insertListUser(list);}

批量插入使用了0.046s 这相当于插入一两条数据的速度,所以用批量插入会大大提升数据插入速度,当有较大数据插入操作是用批量插入优化

批量插入的写法:

dao定义层方法:

Integer insertListUser(List<User> user);

mybatis Mapper中的sql写法:

<insert id="insertListUser" parameterType="java.util.List">INSERT INTO `db`.`user_info`( `id`,`username`,`password`,`price`,`hobby`) values<foreach collection="list" item="item" separator="," index="index">(null,#{item.userName},#{item.password},#{item.price},#{item.hobby})</foreach></insert>

这样就能进行批量插入操作:

注:但是当批量操作数据量很大的时候。例如我插入10w条数据的SQL语句要操作的数据包超过了1M,MySQL会报如下错:

报错信息:Mysql You can change this value on the server by setting the max_allowed_packet' variable. Packet for query is too large (6832997 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.

解释:
用于查询的数据包太大(6832997> 1048576)。 您可以通过设置max_allowed_packet的变量来更改服务器上的这个值。
通过解释可以看到用于操作的包太大。这里要插入的SQL内容数据大小为6M 所以报错。
解决方法:
数据库是MySQL57,查了一下资料是MySQL的一个系统参数问题:

max_allowed_packet,其默认值为1048576(1M),

查询:

show VARIABLES like '%max_allowed_packet%';

9294ea89c5de6c42337a27aebfe17a11.png

修改此变量的值:MySQL安装目录下的my.ini(windows)/etc/mysql.cnf(linux) 文件中的[mysqld]段中的

max_allowed_packet = 1M,如更改为20M(或更大,如果没有这行内容,增加这一行),如下图

f9405b49458d0cd31a32b39bf204708c.png

保存,重启MySQL服务。现在可以执行size大于1M小于20M的SQL语句了。

1ad2fbe3fde909e47510f0aeede63529.png

但是如果20M也不够呢?

2-1-3、分批量多次循环插入

如果不方便修改数据库配置或需要插入的内容太多时,也可以通过后端代码控制,比如插入10w条数据,分100批次每次插入1000条即可,也就是几秒钟而已;当然,如果每条的内容很多的话,另说。。

2-2、插入速度慢的其他几种优化途径

A、通过show processlist;命令,查询是否有其他长进程或大量短进程抢占线程池资源 ?看能否通过把部分进程分配到备库从而减轻主库压力;或者,先把没用的进程kill掉一些?(手动挠头o_O)

B、大批量导数据,也可以先关闭索引,数据导入完后再打开索引

关闭:ALTER TABLE user_info DISABLE KEYS;
开启:ALTER TABLE user_info ENABLE KEYS;

三、REPLACE INTO语法的“坑”

上面曾提到REPLACE可能影响3条以上的记录,这是因为在表中有超过一个的唯一索引。在这种情况下,REPLACE将考虑每一个唯一索引,并对每一个索引对应的重复记录都删除,然后插入这条新记录。假设有一个table1表,有3个字段a, b, c。它们都有一个唯一索引,会怎么样呢?我们早一些数据测试一下。

-- 测试表创建,a,b,c三个字段均有唯一索引
CREATE TABLE table1(a INT NOT NULL UNIQUE,b INT NOT NULL UNIQUE,c INT NOT NULL UNIQUE);
-- 插入三条测试数据
INSERT into table1 VALUES(1,1,1);
INSERT into table1 VALUES(2,2,2);
INSERT into table1 VALUES(3,3,3);

此时table1中已经有了3条记录,a,b,c三个字段都是唯一(UNIQUE)索引

mysql> select * from table1;
+---+---+---+
| a | b | c |
+---+---+---+
| 1 | 1 | 1 |
| 2 | 2 | 2 |
| 3 | 3 | 3 |
+---+---+---+
3 rows in set (0.00 sec)

下面我们使用REPLACE语句向table1中插入一条记录。

REPLACE INTO table1(a, b, c) VALUES(1,2,3);

mysql> REPLACE INTO table1(a, b, c) VALUES(1,2,3);
Query OK, 4 rows affected (0.04 sec)

此时查询table1中的记录如下,只剩一条数据了~

mysql> select * from table1;
+---+---+---+
| a | b | c |
+---+---+---+
| 1 | 2 | 3 |
+---+---+---+
1 row in set (0.00 sec)

(老板:插入前10w数据,插入5w数据后还剩8w数据??,咱们家数据让你喂狗了吗!!)

fb214b62925fb869bc72adc7d89aafbb.png
REPLACE INTO语法回顾:如果插入行出现唯一索引或者主键重复时,则delete老记录,而录入新的记录;如果不会导致唯一索引或者主键重复时,就直接添加新行。

我们可以看到,在用REPLACE INTO时每个唯一索引都会有影响的,可能会造成误删数据的情况,因此建议不要在多唯一索引的表中使用REPLACE INTO

文章来源:MySQL实战中,Insert语的使句用心得总结
原文作者:陈哈哈,如有侵权,请联系删除
来源平台:CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/244542.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

html提交多个正则表达式,将多个html文件的正则表达式结果写入.txt outfile

我无法将从多个html文件(文本不是英文)获得的正则表达式结果写入.txt文件。它将它们打印成屏幕上新行的几个字符串&#xff0c;但是当我尝试将它写入outfile时&#xff0c;它只会写入一个随机字符串。我的代码看起来像这样&#xff1a; 你能帮我怎么把所有的字符串写入所有大约…

eureka集群只注册一个_Spring cloud系列教程第十篇- Spring cloud整合Eureka总结篇

Spring cloud系列教程第十篇- Spring cloud整合Eureka总结篇本文主要内容&#xff1a;1&#xff1a;spring cloud整合Eureka总结本文是由凯哥(凯哥Java:kagejava)发布的《spring cloud系列》教程的总第十篇&#xff1a;本文是几个维度中的第一个维度&#xff1a;注册与发现维度…

lepus监控oracle数据库_lepus天兔数据库监控系统搭建记录

一、开场白去年的锅&#xff0c;今年才接。时间都耗在了各种业务测试上&#xff0c;上周刚刚把锅甩了&#xff0c;赶紧把以前没完成的事做完。二、lepus简介简洁、直观、强大的开源数据库监控系统&#xff0c;MySQL/Oracle/MongoDB/Redis一站式性能监控&#xff0c;让数据库监控…

html鼠标滚轴后下一页,鼠标滚动有一页ppt不能马上下翻,而是上下移动,移动到一定位置后才翻到下一页,这是怎么回事?怎么解决?...

一般是这张幻灯片里有图片才会出现这种问题&#xff0c;你的图片格式有问题&#xff0c;点击图片&#xff0c;再点击格式&#xff0c;把图片格式换一下就好了同问&#xff0c;但不是下面两个原因&#xff0c;都试过没用1&#xff0c;ppt的比例太大&#xff0c;缩小比例即可。Ct…

resnet keras 结构_Day146:第二讲 ResNet

出处论文&#xff1a;Deep Residual Learning for Image Recognition作者&#xff1a;Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian SunImageNet Top5错误率&#xff1a; 3.57%主要思想主要体现在 Residual(残差)&#xff0c;从名字就可以看出&#xff0c;不学绝对值&#x…

influxdb数据过期_Influxdb Cluster下的数据写入

Cluster下的数据写入数据写入的实现主要分析cluster/points_writer.go中的WritePoints函数的实现// WritePoints writes across multiple local and remote data nodes according the consistency level.func (w *PointsWriter) WritePoints(p *WritePointsRequest) error {w.s…

html5内容切换特效,html5+jQuery图片和文字内容同时左右切换特效

html5jQuery图片和文字内容同时左右切换特效&#xff0c;点击图片或者点击左右按钮进行切换&#xff0c;图片转动以及文字内容动画效果切换。查看演示下载资源&#xff1a;22次 下载资源下载积分&#xff1a;20积分js代码 (function(){var bannerIndex 0;var $bannerBgs $(.j…

asp向不同的用户发送信息_【asp.net core 系列】 1 带你了解一下asp.net core

0. 前言 这是一个新的系列&#xff0c;名字是《http://ASP.NET Core 入门到实战》。这个系列主讲http://ASP.NET Core MVC&#xff0c;辅助一些前端的基础知识&#xff08;能用来实现我们需要的即可&#xff0c;并非主讲&#xff09;。同时这个系列也会在后续介绍http://ASP.NE…

python邮件转发_把Gmail邮件转发到gtalk的Python方法

用Python方法把Gmail邮件转发到gtalk有多难&#xff0c;想知道gmail如何转发邮件?gmail自动转发已收到邮件的设置方法。本文就来把这段详细的python学习参考代码贴出来&#xff0c;大家一起参考下吧。gmail转发邮件到gtalk的Python方法源码&#xff1a;#!/usr/bin/env python#…

html 怎么使用http请求数据类型,HTTP请求方式中8种请求方法(简单介绍)

HTTP工作原理HTTP协议定义Web客户端如何从Web服务器请求Web页面&#xff0c;以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文&#xff0c;请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行…

上行30m下行200m是多少宽带_套餐内有多少流量,就加送多少流量!电信流量攻势太凶猛!...

虽然6月6日国内发放了5G商用牌照&#xff0c;5G时代正式开启。但是对于用户来说&#xff0c;要想用上5G服务尚需等待一段时间&#xff0c;因为现在5G手机终端尚未普及、5G资费套餐也未出炉、运营商的5G网络还需要通过建设进一步扩大覆盖范围。在5G真正走近用户的前夕&#xff0…

怎么在终端启用python_在终端启动Python时报错的解决方案

最近&#xff0c;在终端启动Python时&#xff0c;报了一个错误&#xff1a; Failed calling sys.__interactivehook__ Traceback (most recent call last): File "d:\ProgramData\Anaconda3\lib\site.py", line 439, in register_readline readline.read_history_fil…

vue项目html引入css,vue项目引入自定义.css的样式文件

ES6的引入方式&#xff1a;.vue文件中css文件引入import "../assets/common/common.css";//自定义.css的样式路径js文件的引入在main.js中&#xff1a;import API from ./assets/api/api.config.jsVue.prototype.$API API;P.S.&#xff1a;传统上&#xff0c;引入cs…

485通信原理_上位机开发之单片机通信实践

经常会有一些学员会问到上位机与单片机之间通信的问题&#xff0c;而我们经常会讲上位机与PLC之间通信&#xff0c;那么其实对上位机开发来说&#xff0c;不管是和PLC通信&#xff0c;还是和单片机通信&#xff0c;通信原理都是一样的。PLC的本质就是单片机&#xff0c;在单片机…

hive 结构metastone_深入理解hive之事务处理

事务的四个特性1.automicity&#xff1a;原子性2.consistency:一致性3. isolation:独立性4.durability:持久性5.支持事务有几个条件需要满足&#xff1a;1.所有的事务都支持自动提交&#xff1b;2.只支持ORC格式的数据&#xff1b;3.桶表7.配置hive的参数使其支持事务&#xff…

计算机数媒专业优势,27所院校新开设数字媒体艺术专业,“数媒”专业为什么这么火?...

原标题&#xff1a;27所院校新开设数字媒体艺术专业&#xff0c;“数媒”专业为什么这么火&#xff1f;今年2月&#xff0c;教育部公布了2020年度普通高等学校本科专业备案和审批结果。其中&#xff0c;有包括华中农业大学在内的全国27所院校新增备案了“数字媒体艺术”本科专业…

sap 分割评估_SAP那些事-实战篇-73-受托加工的几种方案探讨

大家都知道&#xff0c;SAP中对于委托加工有标准的解决方案&#xff0c;包括标准委托&#xff08;带料委托加工&#xff09;和工序委托&#xff0c;然而&#xff0c;对于受托方&#xff08;即代加工方&#xff09;SAP却没有标准的解决方案&#xff0c;后来想想&#xff0c;也怪…

婚宴座位图html5,图解现代婚宴座位安排

中国人衣、食、住、行素来都有“礼”可循。对于婚宴来说更是讲究&#xff0c;桌子的摆放&#xff0c;座位的安排都需要经过深思熟虑。因为小小的桌椅就关系到婚宴的礼仪以及宾客的身份。下面就让专家为我们进行图解婚宴座位安排和礼仪的指导吧&#xff01;婚礼座位安排&#xf…

c++ 图的连通分量是什么_学习数据结构第五章:图(图的遍历操作)

第五章&#xff1a;图(图的遍历操作)1.图的遍历图的遍历&#xff1a;从图中某一顶点出发&#xff0c;按照某种搜索方法沿着图中的边对图中的所有顶点访问依次且仅访问一次其实树的层次遍历和图的广度优先搜索类似&#xff0c;可以把这个二叉树看成一个图2.广度优先搜索(BFS)广度…

带通滤波器作用和用途_带通滤波器的作用和电路设计图

一个带通滤波器是一个只有在特定频段的频率传递信号衰减这一频段以外的所有信号的同时&#xff0c;其目的是的电路。在一个带通滤波器的重要参数&#xff0c;高&#xff0c;低截止频率( F H 和f 升)&#xff0c;带宽(BW)&#xff0c;中心频率 f C&#xff0c;中心频率增益&…