Springboot下使用Redis管道(pipeline)进行批量操作

之前有业务场景需要批量插入数据到Redis中,做的过程中也有一些感悟,因此记录下来,以防忘记。下面的内容会涉及到

分别使用for、管道处理批量操作,比较其所花费时间。
分别使用RedisCallback、SessionCallback进行Redis pipeline 操作
解释RedisCallback、SessionCallback这两种用法的区别

1.网络传输(RTT)开销少
Redis的传输层是基于TCP协议,一次操作请求的完成,存在网络传输来回的开销,即使Redis每秒能接受10万的请求,但也会因为网络传输而浪费很多时间,导致降低整体的性能。所以面对大量的批量处理,可以使用Redis的管道(pipeline),优势在于多次指令操作只会使用一次的网络传输的开销。

PS:像批量插入、批量获取,RedisTemplate提供了multiSet、multiGet的方法可以进行操作,不过像multiSet并不支持批量设置key的过期时间,可以考虑业务场景进行使用

2.提高redis每秒可以执行操作的数量
在进行批量操作的前提下

不使用管道的时候,每一次Redis执行命令,都要涉及到读(read)和写(write)的系统调用,系统会将用户端切换到内核端。上下文切换会有一定的消耗使用管道的话,多条命令只需要一个读(read),多条响应只需要一个写(write),可想而知,这其中省下了很多的消耗。

环境配置

JDK8
Spring boot 2.6.13
spring-boot-starter-data-redis
分别使用for、管道处理批量操作,比较其所花费时间

public void testForOrPipeline(){//使用forStopWatch stopWatch1=new StopWatch();stopWatch1.start();for(int i=0;i<10000;i++){String value = String.valueOf(i);String key = "test:" + value;redisTemplate.opsForValue().set(key, value, 10, TimeUnit.SECONDS);}stopWatch1.stop();System.out.println("for所需时间:"+stopWatch1.getTotalTimeSeconds()+"s");//使用管道StopWatch stopWatch2=new StopWatch();stopWatch2.start();List<Boolean> list = redisTemplate.executePipelined(new SessionCallback<Object>() {@Overridepublic Object execute(RedisOperations operations) throws DataAccessException {for (int i = 0; i < 10000; i++) {String value = String.valueOf(i);String key = "test:" + value;operations.opsForValue().set(key, value, 10, TimeUnit.SECONDS);}return null;}});stopWatch2.stop();System.out.println("管道所需时间:"+stopWatch2.getTotalTimeSeconds()+"s");
}

在这里插入图片描述
PS: 本地,且只有一个客户端的情况下测试(做不到严谨性,见谅)

目前只是本地跑(网络传输所带来的开销本身会很小),如果redis服务端是在其他地区的服务器上,这两种方式所需的时间相差还会越来越大。

RedisCallback

private void RedisCallBackHandler() {//这里获取String类型的序列化器RedisSerializer stringSerializer = redisTemplate.getStringSerializer();//第二个参数是指定结果反序列化器,用于反序列化管道中读到的数据,不是必传,//如果不传,则使用自定义RedisTemplate的配置,//如果没有自定义,则使用RedisTemplate默认的配置(JDK反序列化)List list = redisTemplate.executePipelined(new RedisCallback<Object>() {@Overridepublic Object doInRedis(RedisConnection connection) throws DataAccessException {for (int i = 0; i < 10; i++) {String value = String.valueOf(i);String key="test:"+value;connection.setEx(stringSerializer.serialize(key),10,stringSerializer.serialize(value));}//这里bytes只会获取到null,因为这里get操作只是放在管道里面,并没有//真正执行,所以获取不到值//byte[] bytes = connection.get("test:1".getBytes());connection.get("test:1".getBytes());//executePipelined 这个方法需要返回值为null,不然会抛异常,//这一点可以查看executePipelined源码return null;}}, stringSerializer);list.stream().forEach(result->{System.out.println(result);});
}

SessionCallback

private void SessionCallBackHandler() {//这里获取String类型的序列化RedisSerializer stringSerializer = redisTemplate.getStringSerializer();//第二个参数是指定结果反序列化器,用于反序列化管道中读到的数据,不是必传,//如果不传,则使用自定义RedisTemplate的配置,//如果没有自定义,则使用RedisTemplate默认的配置(JDK反序列化)List list = redisTemplate.executePipelined(new SessionCallback<Object>() {@Overridepublic Object execute(RedisOperations operations) throws DataAccessException {for (int i = 0; i < 10; i++) {String value = String.valueOf(i);String key = "test:" + value;operations.opsForValue().set(key, value, 10, TimeUnit.SECONDS);}//这里o只会获取到null,因为这里get操作只是放在管道里面,并没有真正执行,所以获取不到值//Object o = operations.opsForValue().get("test:1");operations.opsForValue().get("test:1");//executePipelined 这个方法需要返回值为null,不然会抛异常,//这一点可以查看executePipelined源码return null;}}, stringSerializer);list.stream().forEach(result->{System.out.println(result);});
}

解释RedisCallback、SessionCallback这两种用法的区别
上面代码显示了RedisCallback、SessionCallback这两种都能实现相同的效果,那么这两个又有什么区别呢?

SessionCallback 的使用比RedisCallback要友好一些

SessionCallback的execute方法提供给使用者使用的是RedisOperations接口类,RedisTemplate实现类

RedisCallback的doInRedis方法提供给使用者使用的是RedisConnection接口类,也就是LettuceConnection是实现类

RedisConnection提供了字节数组类型的get和set方法,有关序列化部分的细节还需要我们去关心。(和使用原生jdbc感受差不多),而RedisTemplate负责序列化和连接管理,不需要让使用者关系这一块的部分。总结: 个人感觉从日常使用上应该都倾向于SessionCallback,而个别特殊有关底层的业务,可能就需要RedisCallback。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/36445.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Swoole实践:如何使用协程构建高性能爬虫

随着互联网的普及&#xff0c;web爬虫已经成为了一个非常重要的工具&#xff0c;它可以帮助我们快速地抓取所需要的数据&#xff0c;从而降低数据获取成本。在爬虫的实现中&#xff0c;性能一直是一个重要的考虑因素。swoole是一款基于php的协程框架&#xff0c;它可以帮助我们…

Mathematica训练课(44)-- 一些符号#,,//, /. 的整理

①“//”在后面写成你要执行的操作,即可执行。 注意:这一函数作用域标志的优先级是很靠后的,也就是说它会对一整行式子作用。 ②@的作用是在@后面的第一个元素进行操作 Sqrt @ a(*@作用在@后面、对离@最近的仅仅一个元素作用*) 例如,下面 若作用对象外面套着{},那么就要…

向openHarmony设备添加gdb调试工具

1. 下载gdb源码 国内从官网下载源码比较慢&#xff0c;可以从清华的镜像网站&#xff08;清华大学开源软件镜像站 | Tsinghua Open Source Mirror&#xff09;上下载。下载地址&#xff1a; Index of /gnu/gdb/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 选择…

centos下安装ffmpeg的详细教程

0.ffmpeg介绍 FFmpeg 是一个开源的多媒体框架&#xff0c;用于处理音频、视频和其他多媒体文件。它提供了录制、转换和流式传输音频和视频功能。FFmpeg 是一个非常强大和灵活的工具&#xff0c;广泛应用于媒体转换、视频编辑、流媒体传输等领域。 1.准备压缩包 链接&#xff1…

总结:Hadoop高可用

当Hadoop的NameNode宕机时&#xff0c;可以采取以下步骤来解决问题&#xff1a; 重新启动NameNode&#xff1a;尝试重新启动NameNode服务&#xff0c;有时候它可能会自行恢复正常运行。 恢复NameNode备份&#xff1a;如果启动NameNode失败&#xff0c;可以尝试恢复之前备份的N…

网络研究观:网络犯罪简报

通过犯罪研究人员精选的新闻提要了解最新的全球网络犯罪威胁。 了解不同的数字欺诈以及如何保护自己。 1&#xff1a;NIA 指控五人涉嫌国际人口贩卖和网络诈骗 印度国家调查局指控五名嫌疑人涉嫌一起重大人口贩卖和网络诈骗案&#xff0c;该案涉及印度青年被迫进入老挝的诈骗…

Python中常用的有7种值(数据)的类型及type()语句的用法

目录 0.Python中常用的有7种值&#xff08;数据&#xff09;的类型Python中的数据类型主要有&#xff1a;Number&#xff08;数字&#xff09;、Boolean&#xff08;布尔&#xff09;、String&#xff08;字符串&#xff09;、List&#xff08;列表&#xff09;、Tuple&#xf…

使用java代码实现GUI画面的简易项目操作

要使用Java创建一个图形用户界面&#xff08;GUI&#xff09;&#xff0c;我们可以使用Swing库&#xff0c;它是Java提供的一个标准GUI工具包。以下是一个简单的Java Swing程序示例&#xff0c;它创建了一个窗口&#xff08;JFrame&#xff09;&#xff0c;并在其中添加了一个标…

SQL中group by详解

在 SQL 中&#xff0c;GROUP BY 语句用于将结果集按照一个或多个列进行分组。 其基本语法为&#xff1a; SELECT column1, column2, aggregate_function(column3) FROM table_name GROUP BY column1, column2;以下是对其主要部分的详细解释&#xff1a; GROUP BY 子句后面跟…

我重生了,学会了珂朵莉树

还玩线段树吗&#xff1f; 前言&注明 我好像一万年没更新了&#xff1f; 化学&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff…

【408考点之数据结构】树和森林的基本概念、二叉树转森林、以及树和森林的遍历

树和森林的基本概念、二叉树转森林、以及树和森林的遍历 一、树和森林的基本概念 树&#xff08;Tree&#xff09; 是一种重要的非线性数据结构&#xff0c;由n(n≥0)个节点组成&#xff0c;其中有一个根节点和若干子树&#xff0c;这些子树又是若干树的集合。 森林&#xf…

检索增强生成 (RAG):揭开这一术语的神秘面纱并解释其带来的价值

一、介绍 如今&#xff0c;数据已成为新的黄金&#xff0c;而高效筛选这些丰富信息的能力则是成功企业脱颖而出的关键。Retrieval Augmented Generation&#xff08;RAG&#xff09;是创新的标杆&#xff0c;尤其是在知识管理领域。它不再只是为了存储信息&#xff0c;而是为了…

在运行中遇到扫描包问题

问题描述&#xff1a;当我们看到这个上面一行代码时就代表我们有个包没有被当前的Spring容器给扫描到&#xff0c;关于这个问题我们有两个&#xff1a;第一把整个包导进来&#xff0c;第二用哪个导哪个

Linux Swap

Swap: 页面换出&#xff1a;就是在 Swap 机制下&#xff0c;当内存资源紧张时&#xff0c;内核就会把不经常使用的这些匿名页中的数据写入到 Swap 分区或者 Swap 文件中。从而释放这些数据所占用的内存空间。 页面换入&#xff1a;就是当进程再次访问那些被换出的数据时&…

《人生苦短,我用python·六》ctypes 封装 C++ 接口并在 Python 中调用

编写 C 代码 首先&#xff0c;编写一个简单的 C 函数并将其编译成 DLL 动态链接库 // mylib.cpp #include <iostream>extern "C" {__declspec(dllexport) int add(int a, int b) {return a b;} }编写 C 头文件 虽然在这个简单示例中头文件不是必需的&#xf…

7 个不容忽视的开源安全工具

专业人士选择的第一个工具通常是开源选项,因为它们得到了广泛社区的保证和支持。此代码是支持安全可靠的互联网的基础的一部分。 最近,XZ Utils 等丑闻让用户犹豫不决。开放性是否是攻击的危险载体?还有其他问题在等着他们吗? 辩护者指出,虽然开放性可以让某些攻击变得更…

深度学习实战82-新的研究方向:大模型与图模型结合生成大型图模型,大图模型相关挑战和机遇的观点

大家好,我是微学AI,今天给大家介绍一下深度学习实战82-新的研究方向:大模型与图模型结合生成大型图模型,大图模型相关挑战和机遇的观点。随着人工智能的飞速发展,大型模型已成为人工智能领域最新的突破性成就。在图方面,大型模型尚未取得与自然语言处理和计算机视觉等其他…

java:aocache 0.4.0 缓存控制机制

aoocache发布第一个版本0.1.0时&#xff0c;没有考虑到使用aocache的项目对方法缓存的控制需求。 场景 给同事做培训时&#xff0c;同事提到这个需求&#xff0c;他希望能够有方法主动去清理指定方法的缓存&#xff1a; 他的数据是由其他服务启动时提供的&#xff0c;他的方法…

Python基础语法:自定义函数

在Python中&#xff0c;自定义函数允许你创建自己的函数来执行特定的任务。这些函数可以接受参数&#xff0c;执行一系列操作&#xff0c;并返回结果。以下是创建和使用自定义函数的基本步骤&#xff1a; 定义函数 使用def关键字来定义一个函数。函数定义的基本语法如下&…

可持续发展教育:塑造未来的教育模式

在当今全球化和技术进步的背景下&#xff0c;可持续发展教育&#xff08;Education for Sustainable Development, ESD&#xff09;正逐渐成为教育改革的重要议题。本文将深入探讨可持续发展教育的定义、重要性、实施策略及其在全球教育中的实际影响&#xff0c;旨在为读者提供…