redis的配置和使用、redis的数据结构以及缓存遇见的常见问题

目录

1.缓存

2.redis不仅仅可以做缓存,只不过说他的大部分场景,是做缓存。本地缓存重启后缓存里的东西就没有了,但是redis有。

3.redis有几个特性:查询快,但是是放到内存里的〈断电或者重启,数据就丢了),所以他有特定的持久化机制

4.服务器(centos)安装redis

5. redis在springboot中集成

6.使用场景

7.数据结构

        a、String

           b、Hash

        c、List

             d、Set

        e、SortedSet

8.进阶篇:

        ①、Geospatial

        ②、BloomFilter(布隆过滤器)

9.redis的常用配置项

10.缓存常见问题:


1.缓存

        ①、缓存:有缓存时会优先查询缓存中的数据,查询不到再去查询数据库,并且查询完数据库会将查询到的信息放入缓存

        ②、缓存存在的意义:

                a、减轻数据库压力。(数据库的数据是在磁盘里的,而缓存是存在内存里的,内存的读取速率快)就比如说有1000个请求参数是一样的,如果说我不用缓存,就会访问1000次数据库,用缓存,可能就访问一次

                b、提升接口性能(性能不够,缓存来凑)(缓存比硬盘快)

        ③、缓存分为三种:

                a、本地缓存:存在客户端,比如说微信的聊天记录(非常适合用本地缓存)(打开聊天窗口时,肯定不是调接口去查,而是从本地读出来。用本地缓存应该注意安全性:需要把聊天记录做好加密)

                b、服务器缓存:放到jvm堆里面,比如说hashmap,key-value形式

                c、分布式缓存:集群缓存中用的是各自单独的redis,每个缓存单独存储,而分布式缓存中会将这些缓存放到一个redis中

2.redis不仅仅可以做缓存,只不过说他的大部分场景,是做缓存。本地缓存重启后缓存里的东西就没有了,但是redis有。

3.redis有几个特性:查询快,但是是放到内存里的〈断电或者重启,数据就丢了),所以他有特定的持久化机制

        ①、快照形式:定时快照将数据备份到硬盘里。(比较耗费性能)不适合频繁的去备份

        ②、日志形式:(将日志存到硬盘)类似于mysql的binlog.(恢复的时候比较慢,每次恢复需要查询重现很多条日志),不适合长时间的备份 例:aa--bb aa--cc aa--dd aa

        ③、生产环境环境当中,往往两种机制相结合。大约平均每一分钟生成快照,剩下的生成日志,1分钟之后快照删除生成日志

4.服务器(centos)安装redis

        ①、finalshell连接上服务器

        ②、安装docker和redis

  1.  更新yum包:yum -y update
  2. yum remove docker  docker-common docker-selinux docker-engine
  3. yum install -y yum-utils device-mapper-persistent-data lvm2
  4. yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  5. yum -y install docker-ce-18.03.1.ce
  6. systemctl start docker
  7. docker pull redis:latest
  8.  docker run -d -p 6379:6379 --name="myredis1" redis
  9. docker exec -it myredis1 redis-cli

5. redis在springboot中集成

        ①、添加依赖

(IP+端口号+有密码的加上密码)

         ②、实现

6.使用场景

        ①、在大型的秒杀库存扣减,app首页流量高峰,很容易将传统的关系型数据库(mysql,oracle等)给压垮

        ②、还有很多没必要持久化的数据,比如说短信验证码,点赞数等

        ③、分布式锁

        ④、 分布式缓存(session共享)

7.数据结构

        ①、redis的存储是以key-value的键值对的形式存储的,其中key都是String类型,value常见的就是以下的5种。

        a、String

        字符串类型,可以包含任何数据,最大可以是512MB,内部的实现结构和ArrayList类似,采用内分配冗余的形式,来减少内存的频繁分配(降低CPU压力)

struct SDS {

        // 数组容量

        T capacity;

        // 数组长度

        T len;

        // 特殊标识位

        byte flags;

        // 数组内容

        byte[ ] buf;

}

        即在创建字符串的时候,len 的长度就是capacity,当需要修改时,如果存储容量不够的话,就会进行扩容,当字符串的容量小于1mb时,就会执行加倍扩容,即扩容到2*capacity,当容量大于1MB时,每次多增加1MB。

        常见的指令

set name zhencong --存放字符串键值对

mset name zhencong age 18 --批量存放键值对

SETNX name zhencong --如果不存在key为name,那么就设置value(分布式锁的原理)

get name -- 获取key

mget name age --批量获取key

DEL key -- 删除key

expire key 60 --设置过期时间,单位为秒

INCR (23.890, 0.570, 2.44%) key -- 将key中存储的数字加1

DECR key -- 将key中存储的数字减1

INCRBY key 2 --将key中存储的值都加上2

DECRBY key 2 --将key中存储的值都减去2

        需要注意的是,尽量避免同时操作大批量的key,比如给所有的key设置过期时间,因为redis是单线程的,如果操作耗费太多时间,会造成redis的假死(暂时不对外提供服务)

        使用场景

                i、不需要持久化的数据或者频繁更新的数据,比如验证码,点赞数

                ii、对象缓存:可以通过序列化工具类,来缓存java对象,比如将某个对象序列化为json,需要用的时候再取出来,反序列化。常见的使用方式有mybatis二级缓存,接口级别缓存等等。

                iii、使用setnx来实现分布式锁,(使用分布式锁时一定要设置过期时间,防止不能释放锁,造成死锁)

                iv、可以用incr,decr来实现点赞数

                v、分布式全局id:在一个大型的系统下,如果涉及到分库分表后,mysql 的自增id,肯定满足不了需要,如果用户量不大,可以每次从redis 这里通过自增获取id,但是如果用户量大,每次都拿肯定会给redis造成压力,可以一次取1000个,放本地缓存里,等用完了再去取。

           b、Hash

        是一个key-value的键值对,和java里的hashMap相似,当数据量较小是采用的是ziphash(默认),当数据量较大时采用hashtable。至于什么转换可以在配置文件进行配置。

hash-max-ziplist-entries 512 //配置当field-value超过512时(合起来1024),使用hashtable编码

hash-max-ziplist-value 64 //配置当key的单个field或value长度超过64时,使用hashtable编码

         常用指令

hset hash name zhencong --设置值,

hget hash name -- 获取值

hmset hash name zhencong age 18 --批量设置

hmget hash name age --批量获取

hgetall hash 获取key的所有值

hkeys hash 获取hashmap中所有的key

hvals hash 获取hashmap中所有的value

        应用场景 

                i、可以用于存储系统中对象的数据。

                ii、也可以用于做缓存,来解决数据一致性的问题(不推荐)。

        c、List

        redis的list为quickList(快速链表)即多个ziplist(压缩链表)组合起来的。如图所示:ziplist;当数组容量较小的时候,会开辟一个连续的内存空间,只有当数组容量过多的时候,才会改为quickList,这样做的好处就是,如果采用普通的链表,当我们节点只存int类型的数据,还需要开辟两个指针,连接节点的上一个元素和下一个元素,会比较浪费空间。所以采用了quickList的方式,既能满足快速插入删除性能,又不会出现太大的空间浪费。

        这么做也有缺点,就是当我们的list要变动时,肯定会涉及到内存重新分配和数据拷贝,这个是很影响性能的,list越大,修改元素的代价越大,所以一般我们不会存储过多元素。

        redis的list是按插入顺序排序的,可以添加的一个节点到链表的头部(头插)或者尾部(尾插),是一个双向链表,对两端的操作性能会比较高,对中间节点的操作性能相对来说较差(因为得通过指针对遍历对应的节点)。

           常用指令

rpush myList valu5e1 --向 list 的头部(右边)添加元素

rpush myList value2 value3 --向list的头部(最右边)添加多个元素

lpop myList # 将 list的尾部(最左边)元素取出

lpush myList2 value1 --尾插

        使用场景

        可以实现栈和队列,需要注意的是,push和pop的操作是原子性的,所以操作redis的时候,直接用就行了,不要把list读出来,通过java修改,再放回去,这样不能保证数据一致性。(先读先写或先读后写)

             d、Set

        redis的set和list相似,只不过可以自动去重。(java的set也可以自动去重)。

        当你需要存储一个没有重复数据的列表时就可以选择set,同时set也可以判断某个数据在不在集合里面。

        set的底层结构是一个value为null的哈希表,也就意味着他的时间复杂度为O(1),也就意味着即使数据再多,查找的时间也是一样的。

        使用场景

        可以用来计算多个数据源的交集或并集

        e、SortedSet

        和set很相似,sortedSet是一个有序不重复的列表。SortedSet里面的每个节点都关联了一个权重,用来排序。(集合里的每个节点是唯一的,但是评分却可以是相同的),利用这个特性我们可以利用redis来实现排行榜。也可以很快速的获取到一个区间内的节点。

        SortedSet的底层是hash和跳表(一个很典型的数据机构,牺牲空间来换取时间)。hash的作用是存储每个节点和权重,跳表的作用是用来快速获取一个区间里的节点。

        redis常用的数据机构就是以上五种,还有一些不常用的(加分项)

        使用场景

        直播系统的实时排行榜

8.进阶篇:

        ①、Geospatial

        地理位置的缩写,可以表示一个区域的二维坐标,redis提供了经纬度设置,查询,范围查询,距离查询,经纬度hash等操作。

        使用场景

可以用来计算距离最近的门店

        ②、BloomFilter(布隆过滤器)

        布隆过滤器是一段很长的二进制向量和一系列随机映射函数,用来快速检索一个元素是否在一个集合里。但是他的准确率不是百分之百,有可能判断失误。因此他不适合零失误的场景。

        优点:i,支持海量数据 (19.04, -0.70, -3.55%)场景下,判断元素是否存在。

                   ii,存储空间占用量小,不存储数据本身,存储的是hash值

                   iii,不存储数据本身,可以用来存储加密数据

        缺点:不支持计数,同一个元素可以多次插入,而且效果是相同的。

        使用场景:i、用来解决缓存穿透问题;

                         ii、可以判断用户是否阅读过某篇文章,防止重复推送,比如说抖音。

9.redis的常用配置项

port

端口号,默认6379

bind

主机地址,可以访问redis的ip

timeout

连接空闲多长要关闭连接,表示客户端闲置一段时间后要关闭连接。如果指定为0,就表示连接的时长不限制。这个选项的默认值为0,表示默认不限制连接的空闲时长。

dbfilename

指定保存缓存数据的本地文件名,默认值为dump.rdb。

dir

指定保存缓存数据的本地文件所存放的目录,默认值为安装目录

rdbcompression

指定存储缓存数据至本地文件时是否压缩数据,默认为yes。Redis采用LZF压缩。为了节省CPU时间,可以关闭该选项,但会导致本地文件变得巨大。

requirepass

设置Redis连接密码

slaveof

在主从复制模式下,如果当前节点为Slave(从)节点,就设置为Master(主)节点的IP地址及端口,在Redis启动时自动从Master(主)节点进行数据同步。如果已经是Slave(从)服务器,则会丢掉旧数据集,从新的Master主服务器同步缓存数据。

masterauth

在主从复制模式下,当Master(主)服务器节点设置了密码保护时,Slave(从)服务器用此命令设置连接Master(主)服务器的密码。设置Master服务器节点密码的命令格式为:

10.缓存常见问题:

        ①、什么是缓存穿透,缓存穿透带来的问题,如何解决缓存穿透?

                a、缓存穿透:比如说我的key是数字(123),但是网络攻击者频繁的用字符串(abc)去获取缓存。导致永远无法命中缓存,直接查取的数据库。缓存的意义就是为了减少数据库压力。

                b、解决方法:布隆过滤器

        ②、什么是缓存击穿,缓存击穿带来的问题,如何解决缓存击穿?

                a、缓存击穿:比如说我的官网数据是热点数据,在并发非常高的时候,比如说高考报名的时候,官网数据缓存过期了。这时会直接查询数据库,丢失了缓存的意义

                b、解决方案:一些非常高频的热点数据,不设置过期时间。并且开启定时任务定期查看缓存有没有被删除,如果缓存不存在了,更新缓存。不设置过期时间只能保证redis不会删,但是不能保证其他服务有没有可能删,所以需要开启定时任务,在缓存被别的删除的时候更新缓存。

        ③、什么是缓存雪崩,缓存雪崩带来的问题,如何解决缓存雪崩?

                a、缓存雪崩:大批量的key在同一时刻同时失效,导致请求都打到了数据库

                b、解决方案:key的过期时间做合理的规划,对于高频数据(自己定义的,你觉得这个数据是不是高频的),不设置过期时间

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/29914.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue组件化开发思想;Vue的全局组件;Vue的局部组件;Vue的开发模式和解析;Vue CLI安装和使用;Vue项目的创建方式–Vite

目录 1_Vue组件化开发思想1.1_认识组件化开发1.2_Vue的组件化1.3_注册组件的方式 2_Vue的全局组件3_Vue的局部组件4_Vue的开发模式和解析4.1_Vue的开发模式4.2_单文件的特点4.3_如何支持SFC4.4_VSCode对SFC文件的支持 5_Vue CLI安装和使用5.1_Vue CLI脚手架5.2_Vue CLI 安装和使…

基于react-native的简单消息确认框showModel

基于react-native的简单消息确认框showModel 效果示例图组件代码ShowModel/index.jsx使用案例device.js安装线性渐变色 效果示例图 组件代码ShowModel/index.jsx import React, {forwardRef, useImperativeHandle, useState} from react; import {View,Text,Modal,TouchableOp…

06微服务间的通信方式

一句话导读 微服务设计的一个挑战就是服务间的通信问题,服务间通信理论上可以归结为进程间通信,进程可以是同一个机器上的,也可以是不同机器的。服务可以使用同步请求响应机制通信,也可以使用异步的基于消息中间件间的通信机制。同…

Vue2-简介、模板语法、数据绑定、MVVM、数据代理、事件处理

🥔:成功之后就能光明正大地回望所有苦难 VUE-Day1 Vue简介1、Vue是什么?2、谁开发的? 发展历程?3、Vue的特点4、容器和实例、实例中的el和data总结 Vue模板语法插值语法指令语法 数据绑定1.单向数据绑定(v-…

51单片机学习--DS18B20温度读取温度报警器

需要先编写OneWire模块,再在DS18B20模块中调用OneWire模块的函数 先根据原理图做好端口的声明: sbit OneWire_DQ P3^7;接下来像之前一样把时序结构用代码模拟出来: unsigned char OneWire_Init(void) {unsigned char i;unsigned char Ac…

opencv基础49-图像轮廓02-矩特征cv2.moments()->(形状分析、物体检测、图像识别、匹配)

矩特征(Moments Features)是用于图像分析和模式识别的一种特征表示方法,用来描述图像的形状、几何特征和统计信息。矩特征可以用于识别图像中的对象、检测形状以及进行图像分类等任务。 矩特征通过计算图像像素的高阶矩来提取特征。这些矩可以…

Towards Open World Object Detection【论文解析】

Towards Open World Object Detection 摘要1 介绍2 相关研究3 开放世界目标检测4 ORE:开放世界目标检测器4.1 对比聚类4.2 RPN自动标注未知类别4.3 基于能量的未知标识4.4 减少遗忘 5 实验5.1开放世界评估协议5.2 实现细节5.3 开放世界目标检测结果5.4 增量目标检测结果 6 讨论…

VoxWeekly|The Sandbox 生态周报|20230807

欢迎来到由 The Sandbox 发布的《VoxWeekly》。我们会在每周发布,对上一周 The Sandbox 生态系统所发生的事情进行总结。 如果你喜欢我们内容,欢迎与朋友和家人分享。请订阅我们的 Medium 、关注我们的 Twitter,并加入 Discord 社区&#xf…

【Vue3】keep-alive 缓存组件

当在 Vue.js 中使用 <keep-alive> 组件时&#xff0c;它将会缓存动态组件&#xff0c;而不是每次渲染都销毁和重新创建它们。这对于需要在组件间快速切换并且保持组件状态的情况非常有用。 <keep-alive> 只能包含&#xff08;或者说只能渲染&#xff09;一个子组件…

CANoe通过Frame Histogram窗口统计报文周期(方便快捷)

文章目录 效果展示1.插入Frame Histogram窗口2.Activate3.运行CANoe&#xff0c;停止后查看write窗口 效果展示 统计报文周期信息输出在write窗口。 1.插入Frame Histogram窗口 2.Activate 3.运行CANoe&#xff0c;停止后查看write窗口 统计报文周期信息输出在write窗口。

04-2_Qt 5.9 C++开发指南_SpinBox使用

文章目录 1. SpinBox简介2. SpinBox使用2.1 可视化UI设计2.2 widget.h2.3 widget.cpp 1. SpinBox简介 QSpinBox 用于整数的显示和输入&#xff0c;一般显示十进制数&#xff0c;也可以显示二进制、十六进制的数&#xff0c;而且可以在显示框中增加前缀或后缀。 QDoubleSpinBox…

机器学习笔记:李宏毅ChatGPT课程1:刨析ChatGPT

ChatGPT——Chat Generative Pre-trained Transformer 1 文字接龙 每次输出一个概率分布&#xff0c;根据概率sample一个答案 ——>因为是根据概率采样&#xff0c;所以ChatGPT每次的答案是不一样的&#xff08;把生成式学习拆分成多个分类问题&#xff09;将生成的答案加到…

Linux(进程)

Linux&#xff08;进程&#xff09; 1. 冯诺依曼结构体系2 . 操作系统&#xff08;OS&#xff09;3.进程task_ struct内容分类查看进程查看PID以及PPIDfork()Linux操作系统进程的状态僵尸进程孤儿进程进程优先级其他概念 1. 冯诺依曼结构体系 冯诺依曼结构也称普林斯顿结构&am…

ArcGIS、ENVI、InVEST、FRAGSTATS技术教程

专题一 空间数据获取与制图 1.1 软件安装与应用讲解 1.2 空间数据介绍 1.3海量空间数据下载 1.4 ArcGIS软件快速入门 1.5 Geodatabase地理数据库 专题二 ArcGIS专题地图制作 2.1专题地图制作规范 2.2 空间数据的准备与处理 2.3 空间数据可视化&#xff1a;地图符号与注…

机器学习、深度学习项目开发业务数据场景梳理汇总记录二

本文的主要作用是对历史项目开发过程中接触到的业务数据进行整体的汇总梳理&#xff0c;文章会随着项目的开发推进不断更新。 这里是续文&#xff0c;因为CSDN单篇文章内容太大的话就会崩溃的&#xff0c;别问我怎么知道的&#xff0c;问就是血泪教训&#xff0c;辛辛苦苦写了一…

泰国的区块链和NFT市场调研

泰国的区块链和NFT市场调研 基本介绍 参考&#xff1a; https://zh.wikipedia.org/zh-hans/%E6%B3%B0%E5%9B%BD参考&#xff1a; https://hktdc.infogram.com/thsc–1h7k2303zo75v2x zz制度&#xff1a; 君主立宪制&#xff08;议会制&#xff09; 国王&#xff1a; 玛哈哇集拉…

如何给Google Chrome增加proxy

1. 先打开https://github.com/KaranGauswami/socks-to-http-proxy/releases 我的电脑是Liunx系统所以下载第一个 2. 下载完之后把这个文件变成可执行文件&#xff0c;可以是用这个命令 chmod x 文件名 3. 然后执行这个命令&#xff1a; ./sthp-linux -p 8080 -s 127.0.0.1:…

HTTP协议

HTTP协议 应用层再谈 "协议"网络版计算器 HTTP协议认识URLurlencode和urldecodeHTTP协议格式HTTP的方法HTTP的状态码HTTP常见Header HTTPS协议HTTPS 是什么什么是"加密"为什么要加密常⻅的加密⽅式 HTTPS 的⼯作过程探究⽅案 1 - 只使⽤对称加密⽅案 2 - 只…

HBase-读流程

创建连接同写流程。 &#xff08;1&#xff09;读取本地缓存中的Meta表信息&#xff1b;&#xff08;第一次启动客户端为空&#xff09; &#xff08;2&#xff09;向ZK发起读取Meta表所在位置的请求&#xff1b; &#xff08;3&#xff09;ZK正常返回Meta表所在位置&#x…

企业权限管理(五)-订单分页

订单分页查询 PageHelper介绍 PageHelper是国内非常优秀的一款开源的mybatis分页插件&#xff0c;它支持基本主流与常用的数据库&#xff0c;例如mysql、oracle、mariaDB、DB2、SQLite、Hsqldb等。 PageHelper使用 集成 引入分页插件有下面2种方式&#xff0c;推荐使用 Maven …