一、缓存的作用和分类
缓存可以减少数据库的访问压力,提升整个网站的数据访问速度,改善数据库的写入性能。缓存可以分为两种:
缓存在应用服务器上的本地缓存:访问速度快,但受应用服务器内存限制
缓存在专门的分布式缓存服务器上的远程缓存:访问速度慢,但内存不受限制
二、常见的缓存技术
MemCache:是一个高性能的分布式内存对象缓存系统,用于动态网络应用以减轻数据库负载。Memcache在内存内维护一个统一的巨大的hash表,数据存在hash表中。
Redis:是一个开源的使用ANSI C语言编写、支持网络、可给予内存亦可持久化的日志型、Key-Value数据库,支持多种数据类型(key-value,list,set,string,对象等),并提供多种语言的API。
Squid:Squid是一个高性能的代理缓存服务器,支持FTP,gopher,HTTPS和HTTP协议
Redis和Memcache对比:
Memcache | Redis | |
数据类型 | 简单的key/value结构 | 丰富的数据结构 |
持久性 | 不支持 | 支持 |
分布式存储 | 客户端哈希分片/一致性哈希 | 主从、哨兵、集群 |
多线程 | 支持 | 5.0以后的版本支持 |
内存管理 | 似有内存池/内存池 | 无 |
事务支持 | 不支持 | 有限支持 |
数据容灾 | 不支持,掉电消失 | 支持 |
三、缓存与数据库一致性方案
数据的读取:
1. 根据key从缓存中读取数据;
2. 若缓存中存在,则返回数据;
3. 若缓存中不存在,则从数据库中读取,并将数据写入缓存
数据的插入/更新/删除:
1. 先操作数据库中的数据内容
2. 根据操作更新相应缓存中的内容
四、缓存常见问题
一、缓存雪崩:
原因:大部分缓存同时失效,导致大量数据请求访问数据库,造成数据库崩溃
解决方案:1. 使用队列或锁,保证不会有大量线程对数据库进行高并发的读写
2. 为缓存设置不同的过期时间,固定数值+随即数值
3. 多级缓存,设置失效事件不同的缓存
二、缓存穿刺:
原因:查询数据库与缓存中都不存在的数据,造成性能浪费
解决方案:1. 当数据库中的结果为空时,在缓存中加入默认值。
2. 设置布隆过滤器:将所有可能存在的值放入一个bitmap中。
布隆过滤器介绍:
布隆过滤器用于快速识别一个元元素是否在集合中,通过一个长二进制向量和一系
列随机映射函数记录和识别某个数据是否在一个集合中。
优点 | 缺点 |
1. 占用内存小 2. 查询效率高 3. 不存储数据本身,数据安全性好 | 1. 有一定的误判性 2. 一般情况下不能从中删除元素 3. 不能直接获取需要的数据 |
三、缓存预热:
系统启动后,将相关的缓存数据世界加载到缓存系统中。
实现方案:
1. 编写相关的接口或页面
2. 数据量不大时,在项目启动后加载数据
3. 定时任务刷新缓存
四、缓存更新:
1. 定时清理过期缓存
2. 根据用户操作,将过期的请求更新到缓存中
五、缓存降级:
降级的目的是保证核心服务的可用,通过记日志等方式,将优先级不高的操作记录。