如何在 Spring Boot 项目中使用 MyBatis 进行批量操作以提升性能?

MyBatis 提供了 ExecutorType.BATCH 类型,允许将多个 SQL 语句进行组合,最后统一执行,从而减少数据库的访问频率,提升性能。

以下是如何在 Spring Boot 项目中使用 MyBatis 进行批量操作的关键点:

1. 配置 MyBatis 使用 ExecutorType.BATCH

主要有两种方式可以来配置 MyBatis 使用 BATCH 执行器类型:

a) 在 SqlSessionFactoryBean 中配置 (推荐在 Spring Boot 中使用):

在 Spring Boot 应用中,通常通过 SqlSessionFactoryBean 来配置 SqlSessionFactory。我们可以在 SqlSessionFactoryBean 中设置 defaultExecutorType 属性为 BATCH

import org.apache.ibatis.session.ExecutorType;
import org.mybatis.spring.SqlSessionFactoryBean;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import javax.sql.DataSource;@Configuration
public class MyBatisConfig {@Beanpublic SqlSessionFactoryBean sqlSessionFactory(DataSource dataSource) throws Exception {SqlSessionFactoryBean factoryBean = new SqlSessionFactoryBean();factoryBean.setDataSource(dataSource);// 设置默认的 ExecutorType 为 BATCHorg.apache.ibatis.session.Configuration configuration = new org.apache.ibatis.session.Configuration();configuration.setDefaultExecutorType(ExecutorType.BATCH);factoryBean.setConfiguration(configuration);// ... 其他配置,例如 Mapper 扫描路径等return factoryBean;}
}

b) 编程式的方式创建 SqlSession 时指定 ExecutorType.BATCH:

如果需要更细粒度的控制,或者只想在特定的操作中使用批量处理,可以在创建 SqlSession 时指定 ExecutorType.BATCH

import org.apache.ibatis.session.ExecutorType;
import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;import java.util.List;@Service
public class UserService {@Autowiredprivate SqlSessionFactory sqlSessionFactory;@Autowiredprivate UserMapper userMapper;@Transactionalpublic void batchInsertUsers(List<User> users) {try (SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH)) {UserMapper batchMapper = sqlSession.getMapper(UserMapper.class);for (User user : users) {batchMapper.insertUser(user); // 执行插入操作}sqlSession.flushStatements(); // 刷新批处理语句,执行批量操作sqlSession.commit(); // 提交事务}}
}

2. 在 Mapper XML 文件中编写批量操作 SQL

在 Mapper XML 文件中,需要编写能够处理集合参数的 SQL 语句,通常使用 <foreach> 标签来循环遍历集合并构建批量 SQL。

a) 批量 INSERT 示例:

假设有一个 User 实体类,你需要批量插入多个用户。

<!-- UserMapper.xml -->
<mapper namespace="com.example.mapper.UserMapper"><insert id="batchInsertUsers" parameterType="java.util.List" useGeneratedKeys="true" keyProperty="id">insert into users (username, password, email) values<foreach collection="list" item="item" separator=",">(#{item.username}, #{item.password}, #{item.email})</foreach></insert><insert id="insertUser" parameterType="com.example.entity.User" useGeneratedKeys="true" keyProperty="id">insert into users (username, password, email) values (#{username}, #{password}, #{email})</insert><!-- ... 其他 Mapper 方法 --></mapper>
  • parameterType="java.util.List": 指定方法参数类型为 List
  • <foreach collection="list" item="item" separator="," >: 循环遍历传入的 Listitem 代表当前循环的元素,separator 指定元素之间的分隔符为逗号 ,
  • (#{item.username}, #{item.password}, #{item.email}): 使用 #{item.propertyName} 获取 User 对象的属性值。
  • useGeneratedKeys="true" keyProperty="id": 如果需要获取自增主键,需要配置 useGeneratedKeyskeyProperty

b) 批量 UPDATE 示例:

批量更新多个用户的邮箱地址。

<!-- UserMapper.xml -->
<mapper namespace="com.example.mapper.UserMapper"><update id="batchUpdateUsersEmail" parameterType="java.util.List"><foreach collection="list" item="item" separator=";" open="" close=";" index="index">update users set email = #{item.email} where id = #{item.id}</foreach></update><!-- ... 其他 Mapper 方法 --></mapper>
  • <foreach collection="list" item="item" separator=";" open="" close=";" index="index">: 循环遍历 Listseparator=";" 使用分号作为分隔符。注意: 这里使用了分号 ; 分隔多个 UPDATE 语句。不同的数据库对批量 UPDATE 的语法支持可能有所不同,有些数据库可能不支持这种方式,或者有其他更高效的批量更新语法。例如 MySQL 可以使用 INSERT ... ON DUPLICATE KEY UPDATEREPLACE INTO 等。

3. Spring Boot Service 层调用批量操作 Mapper 方法

在 Spring Boot Service 层,需要调用 Mapper 接口中定义的批量操作方法,并传入包含数据的 List务必使用 @Transactional 注解来管理事务,确保批量操作的原子性

import com.example.entity.User;
import com.example.mapper.UserMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;import java.util.List;@Service
public class UserService {@Autowiredprivate UserMapper userMapper;@Transactionalpublic void batchInsertUsers(List<User> users) {userMapper.batchInsertUsers(users);}@Transactionalpublic void batchUpdateUsersEmail(List<User> users) {userMapper.batchUpdateUsersEmail(users);}
}

4. 性能优化的关注点

  • 事务管理 (@Transactional): 批量操作必须在事务中进行,以保证操作的原子性。如果批量操作过程中出现错误,可以回滚所有操作,保持数据一致性。Spring Boot 的 @Transactional 注解可以方便地管理事务。

  • 批量大小 (Batch Size): 批量操作并非批量越大越好。过大的批量可能会导致:

    • 数据库压力过大: 单次请求发送大量 SQL 可能导致数据库服务器资源消耗过高。
    • 内存占用过高: 如果批量操作涉及到大量数据,可能会占用大量内存。
    • 事务时间过长: 过长的事务会增加锁冲突的风险,影响并发性能。

    最佳批量大小需要根据实际场景进行测试和调优。一般来说,可以尝试从较小的批量大小开始(例如 100, 500, 1000),逐步增加并监控数据库性能,找到最佳的平衡点。

  • 数据库连接池配置: 确保数据库连接池配置合理,能够支持高并发的批量操作。Spring Boot 默认使用 HikariCP 连接池,性能良好,但仍需根据应用负载调整连接池参数,例如 maximum-pool-size, minimum-idle 等。

  • 网络延迟: 批量操作的主要优势是减少网络 round trips。如果网络延迟较高,批量操作的性能提升会更加明显。

  • 数据库服务器性能: 最终性能也受限于数据库服务器的性能。确保数据库服务器配置合理,性能良好,例如 CPU, 内存, 磁盘 IO 等。

  • 批量操作的适用场景: 批量操作最适合一次性处理大量数据的场景,例如数据导入、数据迁移、批量更新状态等。对于频繁的小批量操作,可能提升效果不明显,甚至可能因为额外的批处理开销而降低性能。

  • Generated Keys 的处理: 如果批量 INSERT 需要获取自增主键,MyBatis 提供了 useGeneratedKeyskeyProperty 属性。但需要注意,不同数据库对批量获取自增主键的支持程度可能有所不同。对于 MySQL,批量 INSERT 可以一次性获取所有自增主键。

  • 错误处理: 批量操作中如果某条 SQL 执行失败,需要妥善处理错误。默认情况下,MyBatis 的 ExecutorType.BATCH 在遇到错误时会停止执行后续的 SQL。我们需要根据业务需求,决定是忽略错误继续执行,还是回滚整个批量操作。

总结:

在 Spring Boot 项目中使用 MyBatis 的 ExecutorType.BATCH 进行批量操作,可以显著提升处理大量数据的性能。关键在于正确配置 ExecutorType.BATCH,编写高效的批量 SQL 语句,合理设置批量大小,并结合事务管理和错误处理机制。 性能优化是一个迭代过程,需要根据实际应用场景和性能测试结果进行调整和完善。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/75430.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Redis 字符串(String)详解

1. 什么是字符串类型 在 Redis 中&#xff0c;字符串&#xff08;String&#xff09; 是最基本的数据类型。它可以包含任何数据&#xff0c;比如文本、JSON、甚至二进制数据&#xff08;如图片的 Base64 编码&#xff09;&#xff0c;最大长度为 512 MB。 字符串在 Redis 中不…

Elasticsearch 系列专题 - 第四篇:聚合分析

聚合(Aggregation)是 Elasticsearch 的强大功能之一,允许你对数据进行分组、统计和分析。本篇将从基础到高级逐步讲解聚合的使用,并结合实际案例展示其应用。 1. 聚合基础 1.1 什么是聚合(Aggregation)? 聚合是对文档集合的统计分析,类似于 SQL 中的 GROUP BY 和聚合…

YOLO学习笔记 | YOLOv8 全流程训练步骤详解(2025年4月更新)

===================================================== github:https://github.com/MichaelBeechan CSDN:https://blog.csdn.net/u011344545 ===================================================== 这里写自定义目录标题 一、数据准备1. 数据标注与格式转换2. 配置文件生…

context上下文(一)

创建一个基础的context 使用BackGround函数&#xff0c;BackGround函数原型如下&#xff1a; func Background() Context {return backgroundCtx{} } 作用&#xff1a;Background 函数用于创建一个空的 context.Context 对象。 context.Background() 函数用于获取一个空的 cont…

Java中常见的设计模式

Java中常见的设计模式 Java 中有 23 种经典设计模式&#xff0c;通常被分为三大类&#xff1a;创建型、结构型和行为型。每个设计模式都解决了不同类型的设计问题。以下是几种常见设计模式的总结&#xff0c;并附带了实际应用场景、示例代码和详细的注释说明。 一、创建型设计…

责任链设计模式(单例+多例)

目录 1. 单例责任链 2. 多例责任链 核心区别对比 实际应用场景 单例实现 多例实现 初始化 初始化责任链 执行测试方法 欢迎关注我的博客&#xff01;26届java选手&#xff0c;一起加油&#x1f498;&#x1f4a6;&#x1f468;‍&#x1f393;&#x1f604;&#x1f602; 最近在…

springboot 处理编码的格式为opus的音频数据解决方案【java8】

opus编码的格式概念&#xff1a; Opus是一个有损声音编码的格式&#xff0c;由Xiph.Org基金会开发&#xff0c;之后由IETF&#xff08;互联网工程任务组&#xff09;进行标准化&#xff0c;目标是希望用单一格式包含声音和语音&#xff0c;取代Speex和Vorbis&#xff0c;且适用…

vue项目引入tailwindcss

vue3项目引入tailwindcss vue3 vite tailwindcss3 版本 初始化项目 npm create vitelatest --template vue cd vue npm install npm run dev安装tailwindcss3 和 postcss 引入 npm install -D tailwindcss3 postcss autoprefixer // 初始化引用 npx tailwindcss init -p…

Google ADK(Agent Development Kit)简要示例说明

一、环境准备与依赖安装 1.1 系统 硬件&#xff1a; GPU NVIDIA 3070加速模型推理&#xff0c;内存64GB软件&#xff1a; Python 3.11Docker 28.04&#xff08;用于容器化部署&#xff09;Kubernetes 1.25&#xff08;可选&#xff0c;用于集群管理&#xff09; 1.2 安装 A…

批量给文件编排序号,支持数字序号及时间日期序号编排文件

当我们需要对文件进行编号的时候&#xff0c;我们可以通过这个工具来帮我们完成&#xff0c;它可以支持从 001 到 100 甚至更多的数字序号编号。也可以支持按照日期、时间等方式对文件进行编号操作。这是一种操作简单&#xff0c;处理起来也非常的高效文件编排序号的方法。 工作…

【系统架构】AI时代下,系统架构师如何修炼

在AI时代,系统架构师的角色正经历深刻变革,需在技术深度、工具应用与思维模式上全面升级。以下结合行业趋势与实践建议,总结系统架构师的修炼路径: 一、掌握AI工具,重构工作流 自动化文档与设计 利用生成式AI(如DeepSeek、ChatGPT)完成70%的需求文档、接口设计及架构图生…

图像颜色空间对比(Opencv)

1. 颜色转换 import cv2 import matplotlib.pyplot as plotimg cv2.imread("tmp.jpg") img_r cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img_g cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) img_h cv2.cvtColor(img, cv2.COLOR_BGR2HSV) img_l cv2.cvtColor(img, cv2.C…

JDBC驱动autosave缺陷的修复与配置指南

opengauss-jdbc-6.0.0.jar和opengauss-jdbc-6.0.0-og.jar版本修复了&#xff1a;autosavealways时&#xff0c;事务嵌套太深&#xff0c;导致栈溢出问题。如果使用的版本低于opengauss-jdbc-6.0.0版本&#xff0c;需要通过替换jdbc驱动和修改url参数来解决autosave缺陷。以下是…

K8S-证书过期更新

K8S证书过期问题 K8S证书过期处理方法 Unable to connect to the server: x509: certificate has expired or is not yet valid 1、查看证书有效期&#xff1a; # kubeadm certs check-expiration2、备份证书 # cp -rp /etc/kubernetes /etc/kubernetes.bak3、直接重建证书 …

2025 年网络安全终极指南

我们生活在一个科技已成为日常生活不可分割的一部分的时代。对数字世界的依赖性日益增强的也带来了更大的网络风险。 网络安全并不是IT专家的专属特权&#xff0c;而是所有用户的共同责任。通过简单的行动&#xff0c;我们可以保护我们的数据、隐私和财务&#xff0c;降低成为…

Python的那些事第四十九篇:基于Python的智能客服系统设计与实现

基于Python的智能客服系统设计与实现 摘要 随着人工智能技术的飞速发展,智能客服系统逐渐成为企业提升客户服务质量和效率的关键工具。本文详细介绍了基于Python的智能客服系统的设计与实现方案,涵盖了系统架构、核心功能、技术选型及优化建议,旨在为企业构建高效、智能的客…

第Y1周:调用YOLOv5官方权重进行检测

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 文章目录 1、前言2、下载源码3、运行代码 1、前言 YOLOv5分为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个版本&#xff0c;这里以YOLOv5s为例。 2、下载源码 安…

Python小程序 - 文件处理3:正则表达式

正则表达式&#xff1a;文本年鉴表。遗留的问题很多。。。用AI再想想 需求&#xff1a;读入txt文件&#xff0c;过滤文件有关年记录 0&#xff09;读入txt文件 1&#xff09;以“。”&#xff0c;中文句号&#xff0c;为界区分一句&#xff0c;最小统计单位 2&#xff09;年格…

【antd + vue】Tree 树形控件:默认展开所有树节点 、点击文字可以“选中/取消选中”节点

一、defaultExpandAll 默认展开所有树节点 1、需求&#xff1a;默认展开所有树节点 2、问题&#xff1a; v-if"data.length"判断的层级不够&#xff0c;只判断到了物理那一层&#xff0c;所以只展开到那一层。 3、原因分析&#xff1a; 默认展开所有树节点, 如果是…

Notepad++安装Markdown实时预览插件

具体操作 打开notepad -> 插件 -> 插件管理 -> 可用 -> “Markdown Panel” -> 安装&#xff0c;安装完成后工具栏点击"Markdown Panel"按钮。 注意&#xff1a;由于网络等原因可能安装失败 导致工具栏没出现""Markdown Panel"按钮&am…