聊一聊Redis的离线分析

背景

Redis 或许是我们大部分场景都会用到的一个利器,虽然是利器,用的姿势不对的话,终究还是会整出幺蛾子的。

比较常见的问题,不外乎内存暴增,慢查询等情况。

那么对于内存问题,可以借助redis自带的bigkey分析,也可以借助一些第三方工具来进行离线分析,如 redis-rdb-tools 和 rdr。

为什么是离线分析呢?

redis 在运行时,根据配置会生成一个 dump.rdb 的备份文件,这个备份文件是一个二进制文件,也是存在 redis 里面的数据的一个快照。

离线分析,分析的就是这个 rdb 文件。

受这两个项目的启发,老黄也用了好几个周末的时间写了个简单的离线分析工具。

下面简单介绍一下如何使用这个小工具。

rdb-tools

项目地址:https://github.com/catcherwong/rdb-tools

工具下载方式:

  1. 从 Github Release 下载最新稳定版本 https://github.com/catcherwong/rdb-tools/releases/

  2. 通过 nuget 下载安装 https://www.nuget.org/packages/rdb-cli/

在 Github Release 下载的是无需运行时的单文件,压缩后是 5MB 左右,解压后是 11MB 左右,需要根据不同的操作系统下载不同的可运行文件,

nuget 的话,自然就是在安装了 .net 6 的前提下, 通过 dotnet tool install 的方式来安装

输入 ./rdb-cli -h 可以看到帮助信息。

38849d5969b619f66cec5e19d1e6982b.png

其中最主要的还是 memory 命令。

db1f55a49e9a948731d9bc48c23c197e.png

从帮助信息可以看到,需要指定 rdb 文件,和一些特定的选项。

一个比较简单常用的示例如下:

./rdb-cli memory /tmp/test/demo.rdb -ot html

这个会分析 demo.rdb ,同时分析结果以 html 的形式展现。

f386bb5aa5807478749244b7a39ce42c.png

可以看到分析一个 2GB 的文件,大概需要 32秒左右。

html 如下:

665254a2c82789029d4fc037982bcc9b.png

e47808bbcca530ab1308ca410856318c.png

8cc6d59d307705451e6676cc5c00a84e.png

38111b610d5cf3f5278a35adf7764c42.png


第一部分是基础信息,rdb 的版本信息, redis 的版本信息,总的内存,总的 key 数量。

第二部分是几个柱状图,主要是不同数据类型的内存和数量分布,以及过期时间的内存和数量分布。

第三部分是几个表格,前几的 Key 前缀列表、前几的大 Key 列表、前几的 Stream 列表,Function 列表(Redis 7.0)。

当然,如果想进行一些过滤,可以指定不同的参数选项即可。

只想分析 db 9 和 db 10

./rdb-cli memory /tmp/test/demo.rdb -ot html --db 9 --db 10

只想分析 hash 和 string 类型

./rdb-cli memory /tmp/test/demo.rdb -ot html --type string --type hash

rdb-tools 除了这个直接可用的 cli 工具外,还有一个 parser 的类库,这个类库就是解析的核心类库, cli 也是基于这个做了一个 ReadCallback。

所以完全可以基于这个 parser 的类库,打造一个自定义的离线分析工具。

一些细节

分析 rdb 文件,其实就是分析一个二进制文件。

不同版本的 redis,其 rdb 文件不一定一样,毕竟 rdb 文件也有版本的概念。

目前最新的 redis 7.0 ,rdb 的版本是 10,

redis 5.x ~ 6.x ,rdb 的版本则是 9 。

rdb-tools 里面,是用 BinaryReader 来读取 rdb 文件的。

目前大部分 rdb 文件的解析应该都是按照下面这个文档来的。

https://github.com/sripathikrishnan/redis-rdb-tools/wiki/Redis-RDB-Dump-File-Format

不过它目前还没有包含 listpack 的解析。

最直观的方式是对照 redis 源码里面的 rdb.c 这个文件。

https://github.com/redis/redis/blob/7.0-rc3/src/rdb.c

rdb 对数字这一块的解码操作要特别注意,不一定能用 BitConverter.ToIntXX 来获得正确的值!!

另外有一些地方对大端和小端存储也有区分,这个是很容易踩坑的地方。

内存数据统计的时候用的是生产者消费者模式(BlockingCollection),边解析边统计,避免一次性把 redis 的数据都加载到内存中,造成内存溢出。

目前解析一次,占用的内存基本是在几十M 左右。

写在最后

可能有人会问,为什么已经有这样的工具了,还要再写一个?

主要是考虑到下面几个吧

  1. 活跃度的问题和对新版 redis 的支持程度

  2. 自定义序列化这一块的扩展性

  3. 不同领域的探索和社区支持

感兴趣的可以一起参与完善。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/288430.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C# 实现Winform全屏后不遮挡任务栏,显示任务栏

最近在忙中抽闲,看我的桌面太过死了,不生动,不可爱。。。 然后默默的想写一个动态桌面的一个小东西活泼一下。。。 随后拿起来了N久不碰的C#(本人C#渣,不,应该说什么都渣。。。) 结果在winfo…

SQL Server 2005登录名,用户名,角色,架构之间的关系

SQL Server 2005对2000进行了很大的改进,而用户关系这部分也变得相当复杂了,很多朋友都对此一知半解!下面,我将把我应用中总结的和大家分享下,先从概念入手,希望对不理解的朋友有点提示。 今天我们要说的包括服务器登录名ServerLogin,服务器角色Server Role,数据库用户…

【模拟】【codeforces】599B Spongebob and Joke

http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id282385 就是一个人最开始有一串数a1 a2 ... am 他的熊孩子队友用一组函数f1 f2 ... fn 以及bi fai 把串A换成了串B 现在告诉你B和F,让你把A换回来,能换回来输出A,换回来可能有…

linux磁盘第一个扇区分析,Linux磁盘分区

一、磁盘连接方式与设备文件名的关系计算机常见的磁盘接口有两种,分别是IDE与SATA接口,目前主流接口已经是SATA接口了。一个IDE扁平电缆可以连接两个IDE设备,通常主机又都会提供两个IDE接口,因此最多可以接到四个IDE设备。也就是说…

剑指offer之分行从上到下打印二叉树

1 题目 分行从上到下打印二叉树 23 5 1 4 2 3 我们打印如下 23 51 4 2 3 2 分析 之前这篇博客写了通过队列按层打印剑指offer之按层打印树节点 现在无非就是还要按照条件打印,第一次打印1个,然后第二次打印2个&…

转:char*, char[] ,CString, string的转换

转:char*, char[] ,CString, string的转换 (一) 概述string和CString均是字符串模板类,string为标准模板类(STL)定义的字符串类,已经纳入C标准之中;CString(typedef CStringT > CString&am…

虚拟机VMware安装XP系统错误解决办法

虚拟机给我的编程工作确实带了很多方便,但是虚拟机的一个最大挑战是硬件赶不上,速度太慢了。最近一直在致力于虚拟机上Win7专业版平台上SQL Server 2005Visual Studio 2012系统开发,最初还可以,但是越到后面速度越慢。最后决定重新…

[TP5填坑]关于助手函数input一不小心取不到get值的解决办法

声明:适用于懒人 常规对于这个什么鬼取不到值我也是很绝望的,通常都是看一遍手册就开始写,除非是在没事才跟你认认真真看,所以,我们这类懒人就非常尴尬了,只能动不动查手册。 tp5也出很久了,本…

【Python】猜数小游戏(文件操作)

人生苦短,我用Python 关键词 1.多用户 2.字典记录所有成绩 3.每次游戏轮数&总游戏次数&平均每次游戏需要多少轮 字典Dictionary、列表List、元组Tuple差异化理解 from random import randintname input(请输入你的名字:)#输入玩家名字 #读取文件…

100ms的SQL把服务器搞崩溃了

前言一个项目上线了两个月,除了一些反馈的优化和小Bug之外,项目一切顺利;前期是属于推广阶段,可能使用人员没那么多,当然对于项目部署肯定提前想到并发量了,所以早就把集群安排上,而且还在测试环…

剑指offer之分行从上到下之字行打印二叉树

1 问题 分行从上到下之字行打印二叉树 比如二叉树 23 5 1 4 2 3 3 2 1 5 1 4 2 3 分行从上到下之字行打印二叉树结果如下 2 5 3 1 4 2 3 3 2 4 1 5 1 …

python中sendkeys.sendkeys_python的webbrowser模块和SendKeys模块

今天工作的时候突然遇到个问题,就尝试着按照领导所说要天马行空的想东西,于是那点scrapy的代码逐渐忘了的差不多了,想到用迅雷去下载一些东西,迅雷不知道怎么回事,但知道一点,他监控计算机浏览器&#xff0…

linux dns 动态更新时间,CentOS 7实现DNS+DHCP动态更新详解

然后再安装bind-chroot 执行/usr/libexec/setup-named-chroot.sh /var/named/chroot on 停用named,。昨天运维帮组织线下的沙龙,照着做又遇到各种问题,相信就能搞定了,最后不不知道到底什么原理实现的,man 5 dhcpd.con…

数组方法

json数据格式 <!DOCTYPE HTML><html><head><meta http-equiv"Content-Type" content"text/html; charsetutf-8"><title>无标题文档</title> <script>var json { name : leo, age : 32 };// alert( json.name )…

需求分析工程师岗位的职责描述(合集)

需求分析工程师岗位的职责描述1 职责&#xff1a; 1&#xff0c;负责需求调研&#xff0c;对需求进行分析&#xff0c;编写解决方案、需求规格说明书等 2&#xff0c;根据需求制作原型&#xff0c;并负责原型展示以及客户沟通等工作 3&#xff0c;负责向技术团队精确地传达业务…

基于.NET的系统开发需要注意的问题总结

从2009年进入大学校园以来,笔者渐渐对程序设计产生了浓厚的兴趣,对程序人生产生了深度的思考。记得刚开始学的第一门计算机语言就是风靡一时的Visual Basic,时至今日,时间已过了六年有余,已初步掌握了VB,C,C++,C#,Python,T-SQL等多种语言。回头想想,一路走来,真的很…

nginx 下配置使用Thinkphp5解决跨目录活动并且设置网站根目录

由于TP5框架的一些特性规则&#xff0c;在nginx下导致跨目录的一些访问不能执行 最开始我尝试配置文件夹目录&#xff0c;导致出现各种奇葩错误&#xff0c;然后搜了以下资料发现原来只要简单的修改几个配置文件即可。 声明系统环境&#xff1a; **系统&#xff1a;Centos6.版本…

剑指offer之先序非递归打印二叉树

1 问题 先序非递归打印二叉树 比如二叉树如下 * 2* 3 5 * 1 4 2 3 * 3 2 1 5 1 4 2 3 先序原则&#xff1a;中左右打印节点&#xff0c;如果左边有节点继续要打做节点&…

如何使用CPU来加速你的Linux命令

我们都知道 grep, bzip2, wc, awk, sed等等&#xff0c;都是单线程的&#xff0c;只能使用一个CPU内核。那么如何才能使用这些内核? 要想让Linux命令使用所有的CPU内核&#xff0c;我们需要用到GNU Parallel命令&#xff0c;它让我们所有的CPU内核在单机内做神奇的map-reduce操…

linux命令行设置编码,编码样式-Linux命令行开关和参数是否有标准?

-一种全部(不带参数)。 如果有GNU风格的--all选项&#xff0c;那么-a只能是同义词&#xff0c;这将是非常令人惊讶的。 示例&#xff1a;fuser(1)&#xff0c;fetchmail(1)。如tar(1)中所示追加。 通常将它与-d配对以进行删除。-b缓冲区或块大小(带参数)。 设置临界缓冲区大小&…