Spring Data JPA数据批量插入、批量更新真的用对了吗

Spring Data JPA系列

1、SpringBoot集成JPA及基本使用

2、Spring Data JPA Criteria查询、部分字段查询

3、Spring Data JPA数据批量插入、批量更新真的用对了吗

前言

在前两篇文章已经介绍过，在使用Spring Data JPA时，DAO层的Respository通过继承JPARepository，自动提供了基本的CRUD接口。以下为JPARepository提供的接口。

通过接口的名字能够很直观的了解到JPA提供的批量插入的接口为saveAll()。

saveAll()批量更新

saveAll()方法的使用很简单，接收一个集合对象。在Service层中调用repository.saveAll()即可。返回插入的集合。

    @Overridepublic int batchUpdate1(List<ProductEntity> list) {return productRepository.saveAll(list).size();}

以下为saveAll()的源码，实现在SimpleJpaRepository

    @Transactional@Overridepublic <S extends T> List<S> saveAll(Iterable<S> entities) {Assert.notNull(entities, "Entities must not be null!");List<S> result = new ArrayList<>();// 遍历集合for (S entity : entities) {// 调用save()方法保存对象result.add(save(entity));}return result;}@Transactional@Overridepublic <S extends T> S save(S entity) {Assert.notNull(entity, "Entity must not be null.");// 如果数据的新的，则执行persist()插入数据if (entityInformation.isNew(entity)) {em.persist(entity);return entity;} else {// 否则的话，执行merge()，该方法相当于hibernate中session的saveOrUpdate()方法，// 用于实体的插入和更新操作；return em.merge(entity);}}

从源码可以看出，saveAll()方法不仅支持数据的批量保存，还执行批量更新。使用起来会非常方便。

但是看了这个源码，是否有些疑惑，为何是轮询集合，然后调用save()方法，这会不会有问题？理想中的批量操作，应该是一批次访问一次数据库，减少数据库的访问，提升数据更新的效率。调用上面的方法，执行10001条数据的更新后，打开druid，截图如下：

什么情况？执行了10001次事务，这说明此批量操作并非理想中的批量操作，它只是帮忙封装了一个for遍历而已。而为了解决真正的批量操作，可以使用强大的javax.persistence.EntityManager来实现，在save()方法中的persist()、merge()方法也是EntityManager中的方法。在上一篇

Spring Data JPA Criteria查询、部分字段查询-CSDN博客

部分字段查询也是用的EntityManager。

EntityManager

Java Persistence API（JPA）中的EntityManager是一个接口，在JPA规范中，EntityManager扮演着执行持久化操作的关键角色。普通Java对象只有被EntityManager持久化之后，才能转变为持久化对象，保存到数据库中。它不仅可以管理和更新Entity对象，还可以基于主键查询Entity对象，通过JPQL语句进行Entity查询，甚至通过原生SQL语句进行数据库更新及查询操作。

EntityManager提供以下功能：

1）创建、更新和删除数据：EntityManager中的persist()、merge()和remove()方法分别用于插入、更新和删除数据库记录；

2）查询数据：EntityManager的find()和createQuery()方法用于查询数据；

3）管理实体的生命周期：EntityManager的flush()方法用于将持久性上下文同步到基础数据库，进行持久化操作；

4）事务管理：EntityManager的getTransaction()方法用于获取当前事务，可以对事务进行提交或回滚；

5）执行原生SQL：EntityManager的createNativeQuery()方法用于执行原生SQL。对于原生SQL，需要考虑不同数据库的各自实现；

6）创建CriteriaBuilder：EntityManager的getCriteriaBuilder()方法用于获取CriteriaBuilder。通过CriteriaBuilder实现使用Criteria API查询数据；

EntityManager提供了一种抽象的方式来管理数据库操作，使得开发者可以更多专注于业务逻辑的开发，而不需要关心底层的SQL语句。

以下将要介绍的数据库数据的批量新增以及修改使用的就是EntityManager执行原生SQL实现的。

MySQL数据批量新增及修改

使用EntityManager执行MySQL原生SQL实现时，需要先修改spring.database.url的配置：

spring:datasource:url: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf8&serverTimezone=GMT%2B8&useSSL=false&allowMultiQueries=true

在url中，要加上

allowMultiQueries=true

另外，如果一次传输的数据太多，还需要在MySQL数据库中进行配置，windows修改配置文件my.ini，Linux修改配置文件my.cnf，在配置中添加group_concat_max_len的设置。该值默认值为1024个字节。

[mysqld]

group_concat_max_len = 102400  

如果有使用第三方的数据库中间件，也可能需要进行配置，否则可能被当作SQL注入攻击。如使用druid，需要如下配置：

spring:datasource:druid:filters: stat,wallfilter:wall:config: #支持单个事物多条sql语句执行multi-statement-allow: truenone-base-statement-allow: trueenabled: true

批量新增及修改代码如下：

package com.jingai.jpa.service.impl;import com.jingai.jpa.dao.entity.ProductEntity;
import com.jingai.jpa.service.ProductService;
import org.apache.logging.log4j.util.Strings;
import org.hibernate.query.criteria.internal.OrderImpl;
import org.springframework.data.domain.*;
import org.springframework.data.jpa.domain.Specification;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import org.springframework.transaction.interceptor.TransactionAspectSupport;
import org.springframework.util.StringUtils;import javax.annotation.Resource;
import javax.persistence.EntityManager;
import javax.persistence.Query;
import javax.persistence.TypedQuery;
import java.util.ArrayList;
import java.util.List;@Service
public class ProductServiceImpl implements ProductService {@Resourceprivate EntityManager entityManager;/*** 批量插入数据*/@Transactional@Overridepublic int batchInsert(List<ProductEntity> list) {int batchSize = 2000;if(list.isEmpty()) {return 0;}// 单次批量插入条数StringBuffer sb = new StringBuffer();String insertSql = "insert into tb_product(name, delivery_no, customer, security_code, create_time, validate_num) values ";sb.append(insertSql);SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");int index = 0;for(ProductEntity entity : list) {index ++;// 拼接sql字符串sb.append("('").append(entity.getName()).append("','").append(entity.getDeliveryNo()).append("','").append(entity.getCustomer()).append("','").append(entity.getSecurityCode()).append("','").append(format.format(entity.getCreateTime())).append("', 0),");if(index % batchSize == 0) {Query query = entityManager.createNativeQuery(sb.substring(0, sb.length() - 1) + ";");int rs = query.executeUpdate();if(rs != batchSize) {TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();return 0;}sb = sb.replace(0, sb.length(), insertSql);index = 0;}}if(index > 0) {Query query = entityManager.createNativeQuery(sb.substring(0, sb.length() - 1) + ";");int rs = query.executeUpdate();if(rs != list.size() % batchSize) {TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();return 0;}}return list.size();}/*** 批量修改*/ @Transactional@Overridepublic int batchUpdate3(List<ProductEntity> list) {if(list.isEmpty()) {return 0;}StringBuffer sb = new StringBuffer();String updateSql = "update tb_product set ";for(int i = 0 ; i < list.size() ; i ++) {ProductEntity entity = list.get(i);sb.append(updateSql).append("name = '").append(entity.getName()).append("', customer = '").append(entity.getCustomer()).append("' where pid = ").append(entity.getPid()).append(";");if(i > 0 && i % 2000 == 0) {Query query = entityManager.createNativeQuery(sb.toString());int rs = query.executeUpdate();if(rs <= 0) {TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();return 0;}sb = sb.replace(0, sb.length(), Strings.EMPTY);}}if(sb.length() > 0) {Query query = entityManager.createNativeQuery(sb.toString());int rs = query.executeUpdate();if(rs <= 0) {TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();return 0;}}return list.size();}
}

执行上面的batchUpdate3的接口，修改10000条记录，druid中的记录如下：

相比上面使用的saveAll()方法实现的批量修改，时间少了1900ms，而实际的访问体验，相差好几秒。因为这个执行时间只记录了在数据库中执行的时间，而saveAll()要访问10000次的数据库，而batchUpdate3()只需要访问5次数据库。

Oracle数据批量新增及修改

Oracle数据库并不支持多语句操作。在Oracle数据库中，需要使用存储过程的begin...end语句块，该语句块由一组一起执行的SQL语句组成。

    /*** 批量新增*/@Transactionalpublic int batchInsert(List<Varinst> list) {if(list.isEmpty()) {return 0;}// 单次批量插入条数int batchSize = 2000;StringBuffer sb = new StringBuffer();String insertSql = "insert into tb_product(name, delivery_no, customer, security_code, create_time, validate_num) values ";sb.append("begin\r\n");SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");int index = 0;for(Varinst entity : list) {index ++;sb.append("('").append(entity.getName()).append("','").append(entity.getDeliveryNo()).append("','").append(entity.getCustomer()).append("','").append(entity.getSecurityCode()).append("',TO_DATE('").append(format.format(entity.getCreateTime())).append("', 'SYYYY-MM-DD HH24:MI:SS'), 0),");if(index % batchSize == 0) {sb.append("end;");Query query = entityManager.createNativeQuery(sb.toString());int rs = query.executeUpdate();if(rs <= 0) {TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();return 0;}sb = sb.replace(0, sb.length(), Strings.EMPTY);index = 0;sb.append("begin\r\n");}}if(index  > 0) {sb.append("end;");Query query = entityManager.createNativeQuery(sb.toString());int rs = query.executeUpdate();if(rs <= 0) {TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();return 0;}}return list.size();}/*** 批量修改*/@Transactionalpublic int batchUpdateOracle(List<ProductEntity> list) {StringBuffer sb = new StringBuffer();sb.append("begin\r\n");String updateSql = "update ACT_HI_VARINST set ";for(int i = 0 ; i < list.size() ; i ++) {ProductEntity entity = list.get(i);sb.append(updateSql).append("name = '").append(entity.getName()).append("', customer = '").append(entity.getCustomer()).append("' where pid = ").append(entity.getPid()).append(";");if(i > 0 && i % 2000 == 0) {sb.append("end;");Query query = entityManager.createNativeQuery(sb.toString());int rs = query.executeUpdate();if(rs <= 0) {TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();return 0;}sb = sb.replace(0, sb.length(), Strings.EMPTY);sb.append("begin\r\n");}}if(list.size() % 2000 != 0) {sb.append("end;");Query query = entityManager.createNativeQuery(sb.toString());int rs = query.executeUpdate();if(rs <= 0) {TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();return 0;}}return list.size();}

结尾

Spring Data JPA的知识点还有很多，限于篇幅，本篇先分享到这里。

关于本篇内容你有什么自己的想法或独到见解，欢迎在评论区一起交流探讨下吧。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/5696.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

BigKey的危害

BigKey的危害

1.2.1、BigKey的危害 网络阻塞 对BigKey执行读请求时&#xff0c;少量的QPS就可能导致带宽使用率被占满&#xff0c;导致Redis实例&#xff0c;乃至所在物理机变慢 数据倾斜 BigKey所在的Redis实例内存使用率远超其他实例&#xff0c;无法使数据分片的内存资源达到均衡 Redis阻…
阅读更多...
Python中动画显示与gif生成

Python中动画显示与gif生成

1. 动画生成 主要使用的是 matplotlib.animation &#xff0c;具体示例如下&#xff1a; import matplotlib.pyplot as plt import matplotlib.animation as animation import numpy as np fig, ax plt.subplots() t np.linspace(0, 3, 40) g -9.81 v0 12 z g * t**2 / …
阅读更多...
新建stm32工程模板步骤

新建stm32工程模板步骤

1.先使用keil新建一个project的基本代码 2.stm32启动文件添加 将stm32的启动文件&#xff0c;在原工程当中新建一个Start文件夹把相关的启动文件放到文件夹当中 然后还需要找到下面三个文件 stm32f10x.h是stm32的外设寄存器的声明和定义&#xff0c;后面那两个文件用于配置系…
阅读更多...
【Docker】搭建一个媒体服务器插件后端API服务 - MetaTube

【Docker】搭建一个媒体服务器插件后端API服务 - MetaTube

【Docker】搭建一个媒体服务器插件后端API服务 - MetaTube 前言 本教程基于群晖的NAS设备DS423的docker功能进行搭建&#xff0c;DSM版为 7.2.1-69057 Update 5。 简介 MetaTube 是一个媒体服务器插件&#xff0c;主要用于 Emby 和 Jellyfin 媒体服务器。它的主要功能是从互…
阅读更多...
C++之const用法小结

C++之const用法小结

在C中&#xff0c;const关键字具有多种用法&#xff0c;主要用于声明常量&#xff0c;确保某些变量的值在程序运行期间不会被修改。以下是const在C中的一些常见用法&#xff1a; 1.声明常量&#xff1a; 使用const声明的变量是常量&#xff0c;其值在初始化后不能再被修改。 …
阅读更多...
【数据结构】链表专题2

【数据结构】链表专题2

前言 本篇博客继续探讨有关链表的专题&#xff0c;这片博客的题&#xff0c;提前打个预防针&#xff0c;有点意思哦&#xff0c;哈哈哈&#xff0c;话不多说&#xff0c;进入正文 &#x1f493; 个人主页&#xff1a;小张同学zkf ⏩ 文章专栏&#xff1a;数据结构 若有问题 评论…
阅读更多...
ASP.NET淘宝店主交易管理系统的设计与实现

ASP.NET淘宝店主交易管理系统的设计与实现

摘 要 淘宝店主交易管理系统主要采用了ASPACCESS的B/S设计模式&#xff0c;通过网络之间的数据交换来实现客户、商品、交易的管理和对客户、商品、交易统计工作&#xff0c;从而提高淘宝店主在管理网店过程中的工作效率和质量。 系统分为基本资料模块&#xff0c;统计资料模…
阅读更多...
北京大学肖臻老师《区块链技术与应用》P14(ETH概述)和P15(ETH账户)

北京大学肖臻老师《区块链技术与应用》P14(ETH概述)和P15(ETH账户)

1️⃣ 参考 北京大学肖臻老师《区块链技术与应用》 P14 - ETH概述篇P15 - ETH账户篇 1️⃣4️⃣ETH概述 ① 比特币与以太坊的对比 比特币&#xff08;区块链 1.0&#xff09;以太坊&#xff08;区块链 2.0&#xff09;出块时间大约10 min十几秒mining puzzle计算密集型Memo…
阅读更多...
DRF中的请求入口分析及request对象分析

DRF中的请求入口分析及request对象分析

DRF中的请求入口分析及request对象分析 django restframework框架是在django的基础上又给我们提供了很多方便的功能&#xff0c;让我们可以更便捷基于django开发restful API 1 drf项目 pip install django pip install djangorestframework1.1 核心配置 INSTALLED_APPS [d…
阅读更多...
【ARMv8/v9 系统寄存 3 -- system counter CNTPCT_EL0】

【ARMv8/v9 系统寄存 3 -- system counter CNTPCT_EL0】

文章目录 ARMv8/v9 system countersystem counter读取函数实现 ARMv8/v9 system counter 所有使用Arm处理器的系统中都会包含一个标准化的通用定时器&#xff08;Generic Timer&#xff09;框架。这个通用定时器系统提供了一个系统计数器&#xff08;System Counter&#xff0…
阅读更多...
环形链表的经典问题

环形链表的经典问题

环形链表 环形链表的介绍链表中是否带环返回链表开始入环的第一个节点 本文主要介绍如何判断一个链表是否是环形链表&#xff0c;以及如何得到环形链表中的第一个节点。 环形链表的介绍 环形链表是一种链表数据结构&#xff0c;环形链表是某个节点的next指针指向前面的节点或指…
阅读更多...
ctfshow-web入门-102

ctfshow-web入门-102

这个题我想记录一下&#xff0c;主要是这个方法属实是有点惊艳到我了。故而进行记录&#xff0c;也为了方便大家阅读理解。 看题目&#xff0c;根据题目我写一下我的分析&#xff1a; $_POST传入一个v1&#xff0c;$_GET传入一个v2&#xff0c;一个v3。 赋值符号 优先级高于…
阅读更多...
微软如何打造数字零售力航母系列科普05 - Azure中计算机视觉的视觉指南

微软如何打造数字零售力航母系列科普05 - Azure中计算机视觉的视觉指南

Azure中计算机视觉的视觉指南 什么是计算机视觉&#xff1f;如何使用Microsoft Azure将计算机视觉功能集成到应用程序和工作流中&#xff1f; 作者&#xff1a;Nitya Narasimhan 编辑&#xff1a;数字化营销工兵 •11分钟阅读 什么是计算机视觉&#xff1f;如何使用Microso…
阅读更多...
WORD排版常见问题与解决方案

WORD排版常见问题与解决方案

前言 近期使用word软件进行论文排版工作&#xff0c;遇到了一些常见的问题&#xff0c;记录一下&#xff0c;避免遗忘。 基本配置 系统环境&#xff1a;win10/win11 word版本&#xff1a;Microsoft Office LTSC 专业增强版 2021 问题与解决方案 问题1&#xff1a;页眉显示内…
阅读更多...
[华为OD]C卷 机场航班调度 ，XX市机场停放了多架飞机，每架飞机都有自己的航班号100

[华为OD]C卷 机场航班调度 ，XX市机场停放了多架飞机，每架飞机都有自己的航班号100

题目&#xff1a; XX市机场停放了多架飞机&#xff0c;每架飞机都有自己的航班号CA3385, CZ6678, SC6508 等&#xff0c;航班号的前2个大写字母&#xff08;或数字&#xff09;代表航空公司的缩写&#xff0c;后面4个数字代表航班信息。 但是XX市机场只有一条起飞用跑道&am…
阅读更多...
【网络原理】IP协议的地址管理和路由选择

【网络原理】IP协议的地址管理和路由选择

系列文章目录 【网络通信基础】网络中的常见基本概念 【网络编程】网络编程中的基本概念及Java实现UDP、TCP客户端服务器程序&#xff08;万字博文&#xff09; 【网络原理】UDP协议的报文结构 及 校验和字段的错误检测机制&#xff08;CRC算法、MD5算法&#xff09; 【网络…
阅读更多...
LeetCode LCR 179. 和为s的两个数字

LeetCode LCR 179. 和为s的两个数字

原题链接&#xff1a;LCR 179. 查找总价格为目标值的两个商品 - 力扣&#xff08;LeetCode&#xff09; 题目的意思&#xff1a;通过给定的数组&#xff0c;找出两个值&#xff0c;相加并等于目标值。 第一种思路&#xff0c;暴力枚举&#xff0c;伪代码如下&#xff1a; for (…
阅读更多...
关于智慧校园，你知道多少？

关于智慧校园，你知道多少？

智慧校园是指运用现代信息技术&#xff0c;如物联网&#xff08;IoT&#xff09;、大数据、云计算、人工智能&#xff08;AI&#xff09;等&#xff0c;对传统校园进行智能化改造和升级&#xff0c;旨在创建一个高度集成、信息共享、服务全面的校园生态系统。智慧校园不仅仅是技…
阅读更多...
python web开发开源规范

python web开发开源规范

Hello , 大家好。首先在五一假期给所有劳动者创造者们送上祝福&#xff0c; 本文聊聊我对python web开源相关的规范 PEP 8 Python编程风格指南:PEP 8是Python编程的官方风格指南&#xff0c;提供了关于代码格式、命名规范、注释等方面的建议。遵循PEP 8可以使代码更易于阅读和…
阅读更多...
Gateway结合Nacos使用！！！

Gateway结合Nacos使用！！！

一、本地结合使用 1. 引入依赖 <dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId> </dependency> 2. bootstarp.yml配置文件 如果Nacos中配置使用yaml格式&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023