mybatis批量插入10万条数据的优化过程

在使用mybatis插入大量数据的时候,为了提高效率,放弃循环插入,改为批量插入,mapper如下:

package com.lcy.service.mapper;import com.lcy.service.pojo.TestVO;
import org.apache.ibatis.annotations.Insert;import java.util.List;/*** 功能描述:** @author liuchaoyong* @version 1.0* @date 2019-06-26 13:18*/
public interface TestMapper {@Insert("<script>" +"insert into test (t1,t2,t3,t4,t5) values " +"<foreach collection='list' item='obj' separator=','>" +"(#{obj.t1},#{obj.t2},#{obj.t3},#{obj.t4},#{obj.t5})" +"</foreach>" +"</script>")Integer testBatchInsert(List<TestVO> list);}

实体类:

package com.lcy.service.pojo;import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;/*** 功能描述:** @author liuchaoyong* @version 1.0* @date 2019-06-26 13:20*/
@Data
@NoArgsConstructor
@AllArgsConstructor
public class TestVO {private String t1;private String t2;private String t3;private String t4;private String t5;}

测试类如下:

import com.lcy.service.TestApplication;
import com.lcy.service.mapper.TestMapper;
import com.lcy.service.pojo.TestVO;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;import java.util.ArrayList;
import java.util.List;/*** 功能描述:** @author liuchaoyong* @version 1.0* @date 2019-05-17 16:42*/
@SpringBootTest(classes = TestApplication.class)
@RunWith(SpringRunner.class)
public class TestDemo {@Autowiredprivate TestMapper testMapper;@Testpublic void insert() {List<TestVO> list = new ArrayList<>();for (int i = 0; i < 200000; i++) {list.add(new TestVO(i + "," + i, i + "," + i, i + "," + i, i + "," + i, i + "," + i));}System.out.println(testMapper.testBatchInsert(list));}}

为了复现bug,我限制了JVM内存:

在这里插入图片描述
执行测试类报错如下:

java.lang.OutOfMemoryError: Java heap spaceat java.base/java.util.Arrays.copyOf(Arrays.java:3746)

可以看到,Arrays在申请内存的时候,导致栈内存溢出

改进方法,分批新增:

import com.lcy.service.TestApplication;
import com.lcy.service.mapper.TestMapper;
import com.lcy.service.pojo.TestVO;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;import javax.swing.*;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;/*** 功能描述:** @author liuchaoyong* @version 1.0* @date 2019-05-17 16:42*/
@SpringBootTest(classes = TestApplication.class)
@RunWith(SpringRunner.class)
public class TestDemo {@Autowiredprivate TestMapper testMapper;@Testpublic void insert() {List<TestVO> list = new ArrayList<>();for (int i = 0; i < 200000; i++) {list.add(new TestVO(i + "," + i, i + "," + i, i + "," + i, i + "," + i, i + "," + i));}int index = list.size() / 10000;for (int i=0;i< index;i++){//stream流表达式,skip表示跳过前i*10000条记录,limit表示读取当前流的前10000条记录testMapper.testBatchInsert(list.stream().skip(i*10000).limit(10000).collect(Collectors.toList()));}}}

有一种方法是调高JVM内存,不过不建议使用,不仅吃内存,而且数据量过大会导致sql过长报错

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/519264.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java spring注解维护,从一次工程启动失败谈谈 spring 注解

原标题&#xff1a;从一次工程启动失败谈谈 spring 注解檀宝权Java 后端开发工程师&#xff0c;负责度假 App 后端和广告后端开发维护工作&#xff0c;熟悉 Tomcat&#xff0c;Spring&#xff0c;Mybatis&#xff0c;会点 Python&#xff0c;Lua。一、背景线上环境升级成 JDK8后…

探索Java日志的奥秘:底层日志系统-log4j2

前言 log4j2是apache在log4j的基础上&#xff0c;参考logback架构实现的一套新的日志系统&#xff08;我感觉是apache害怕logback了&#xff09;。 log4j2的官方文档上写着一些它的优点&#xff1a; 在拥有全部logback特性的情况下&#xff0c;还修复了一些隐藏问题API 分离&…

大地震!某大厂“硬核”抢人,放话:只要AI人才,高中毕业都行!

特斯拉创始人马斯克&#xff0c;在2019年曾许下很多承诺&#xff0c;其中一个就是&#xff1a;2019年底实现完全的自动驾驶。虽然这个承诺又成了flag&#xff0c;但是不妨碍他今年继续为这个承诺努力。这不&#xff0c;就在上周一&#xff0c;马斯克之间在twitter上放话了&…

解决Maven打包(编译)慢的问题

终于找到Maven打包(编译)慢的原因了&#xff0c;lombok是罪魁祸首 一个独立的Model包&#xff0c;560个实体类&#xff0c;编译要4分钟&#xff0c;而老项目2100多个类&#xff0c;编译才要10多秒 开始以为是Swagger注解的原因&#xff0c;最后经常测试 swagger注解只用了2-3…

Dart编译技术在服务端的探索和应用

前言 最近闲鱼技术团队在FlutterDart的多端一体化的基础上&#xff0c;实现了FaaS研发模式。Dart吸取了其它高级语言设计的精华&#xff0c;例如Smalltalk的Image技术、JVM的HotSpot和Dart编译技术又师出同门。由Dart实现的语言容器&#xff0c;它可以在启动速度、运行性能有不…

mysql 取最后一次登陆,获得最后一次插入mysql的id | 学步园

最近两天一直忙着通过数据库访问数据记录&#xff0c;然后做操作。以前我在数据库中插入记录后&#xff0c;就要去做别的操作&#xff0c;别的操作也是先访问存在数据库中的记录&#xff0c;然后完成操作。所以我通过记录的名字来访问记录的&#xff0c;原来想过通过id来访问数…

Python + ElasticSearch:有了这个超级武器,你也可以报名参加诗词大会了! | 博文精选...

来源 | CSDN 博客作者 | 天元浪子责编 | Carol出品 | CSDN云计算&#xff08;ID&#xff1a;CSDNcloud&#xff09;意犹未尽的诗词大会正月十六&#xff0c;中国诗词大会第五季落下帷幕。从2016年2月12日第一季于开播&#xff0c;迄今恰好四周年。在这个舞台上&#xff0c;时年…

Node.js 应用故障排查手册 —— 大纲与常规问题指标简介

楔子 你是否想要尝试进行 Node.js 应用开发但是又总听人说它不安全、稳定性差&#xff0c;想在公司推广扩张大前端的能力范畴和影响又说服不了技术领导。 JavaScript 发展到今天&#xff0c;早已脱离原本浏览器的战场&#xff0c;借助于 Node.js 的诞生将其触角伸到了服务端、P…

mybatis批量插入oracle大量数据记录性能问题解决

环境: mybatis oracle11g r2 1.使用"直接路径插入"(下面sql语句中的"/*append_values */"),并且使用关键字"union all": <insert id"addUidCodeBatch" parameterType"java.util.List"> insert into /*append_val…

蚂蚁金服CTO程立:做工程要有“拧螺丝”的精神

“一台机器可能有无数颗螺丝&#xff0c;需要一个一个地拧&#xff0c;而且需要一圈一圈地拧&#xff0c;才能让系统间严丝合缝&#xff0c;顺利工作。代码的世界里&#xff0c;一个项目到底成功与否&#xff0c;也是取决于几个模型的关键特殊设置&#xff0c;就像拧螺丝一样。…

php asciii 回车换行,ubuntu下关于telnet俩个特殊ascii字符回车0x0d与换行0x0a

服务器与telnet客户端通信当服务器仅返回输入内容时$connection->send($res)。Trying 127.0.0.1...Connected to 127.0.0.1.Escape character is ^].kkkk▌光标紧跟着服务器发送内容的后面。当服务器发送0x0a或0x0d0a或0x0a0d时&#xff0c;$connection->send($res.chr(0…

更效率、更优雅 | 阿里巴巴开发者工具不完全盘点

从人工到自动化&#xff0c;从重复到创新&#xff0c;技术演进的历程中&#xff0c;伴随着开发者工具类产品的发展。 阿里巴巴将自身在各类业务场景下的技术积淀&#xff0c;通过开源、云上实现或工具等形式对外开放&#xff0c;本文将精选了一些阿里巴巴的开发者工具&#xf…

linux 环境安装DBI和DBD_03

文章目录一、软件下载二、安装DBI2.1. DBI下载2.2. 解压2.3. 安装依赖2.4. 编译2.5. 执行测试2.6. 安装2.6. 修改权限三、安装DBD-ORACLE组件3.1. DBI下载3.2. 修改权限3.3. 切换用户3.4. 解压3.5. 进入目录3.6. 初始化环境变量3.6. 查看配置的环境变量是否配置3.7. 刷新配置文…

php+反序列化方法,PHP序列化反序列化的方法详解

在一些开源的php源代码中&#xff0c;我们经常看到一些配置文件里面存放的是一些类似带有格式的变量名称和值。刚开始还不明白这个是怎么回事儿。后来才知道这个是为了将一个复杂(也可能并不那么复杂)的数据结构转换成一个字符串&#xff0c;以便于保存和传递。其实就是一个序列…

像数据科学家一样思考:12步指南(上)

介绍 目前&#xff0c;数据科学家正在受到很多关注&#xff0c;因此&#xff0c;有关数据科学的书籍正在激增。我看过很多关于数据科学的书籍&#xff0c;在我看来他们中的大多数更关注工具和技术&#xff0c;而不是数据科学中细微问题的解决。直到我遇到Brian Godsey的“像数…

Mybatis-plus 大数据量数据流式查询通用接口

文章目录一、案例需求二、使用案例&#xff1a;2.1. 自定义查询接口2.2. 逻辑处理类2.3. 调用案例2.4. 具体逻辑处理案例三、企业案例3.1. key名称获取3.2. 逻辑类测试3.3.最后一个批次处理方案四、 通用SQL预编译处理4.1. 业务场景4.2. xml形式4.3. 注解形式五、企业案例5.1. …

基于MaxCompute的数仓数据质量管理

声明 本文中介绍的非功能性规范均为建议性规范&#xff0c;产品功能无强制&#xff0c;仅供指导。 参考文献 《大数据之路——阿里巴巴大数据实践》——阿里巴巴数据技术及产品部 著。 背景及目的 数据对一个企业来说已经是一项重要的资产&#xff0c;既然是资产&#xff…

php封隔器座封原理,封隔器的基本结构及工作原理

要做到单井的分采分注&#xff0c;首先必须有一种井下工具将各油层分开。封隔器就是下人套管内&#xff0c;利用其弹性密封元件的变形来封隔油、气、水层的一种最重要的井下工具。封隔器接在油管柱的适当部位或下部&#xff0c;这种带封隔器和其他井下工具的油管柱叫做井下工艺…

IP应用加速 – DCDN迈入全栈新篇章

4月11日&#xff0c;第七届"亚太内容分发大会"暨CDN峰会国际论坛中&#xff0c;阿里云资深技术专家姚伟斌发布了DCDN子产品IP应用加速&#xff08;IPA&#xff09;。IPA是基于阿里云CDN本身的资源优化&#xff0c;对传输层&#xff08;TCP&UDP&#xff09;协议进…

linux环境 Oracle客户端连接远程Oracle服务端

前提&#xff1a;su - oracle #格式: sqlplus 用户名/密码ip地址:端口 sqlplus system/123456192.168.0.128:1521 #格式2: sqlplus 用户名/密码ip地址:端口/SID sqlplus system/123456192.168.0.128:1521/orcl