memcache、redis原理对比

blog.csdn.net/suifeng3051/article/details/23739295

一、问题:

数据库表数据量极大(千万条),要求让服务器更加快速地响应用户的需求。

 

二、解决方案:

1.通过高速服务器Cache缓存数据库数据

2.内存数据库

 

这里仅从数据缓存方面考虑,当然,后期可以采用Hadoop+HBase+Hive等分布式存储分析平台

三、主流解Cache和数据库对比:

 

上述技术基本上代表了当今在数据存储方面所有的实现方案,其中主要涉及到了普通关系型数据库(MySQL/PostgreSQL),NoSQL数据库(MongoDB),内存数据库(Redis),内存Cache(Memcached),我们现在需要的是对大数据表仍保持高效的查询速度,普通关系型数据库是无法满足的。

而MongoDB其实只是一种非关系型数据库,其优势在于可以存储海量数据,具备强大的查询功能,因此不宜用于缓存数据的场景。

 

从以上各数据可知,对于我们产品最可行的技术方案有两种:

1.Memcached         内存Key-Value Cache

2.Redis                     内存数据库

 

四、下面重点分析Memcached和Redis两种方案:

 

4.1 Redis 介绍  

 

Redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、 list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。

与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步,当前 Redis的应用已经非常广泛,国内像新浪、淘宝,国外像 Flickr、Github等均在使用Redis的缓存服务。

 

4.2 Redis 工作方式分析

 

Redis作为一个高性能的key-value数据库具有以下特征: 

1. 多样的数据模型 

2. 持久化 

3. 主从同步  

Redis支持丰富的数据类型,最为常用的数据类型主要由五种:String、Hash、List、Set和Sorted Set。Redis通常将数据存储于内存中,或被配置为使用虚拟内存。

Redis有一个很重要的特点就是它可以实现持久化数据,通过两种方式可以实现数据持久化:使用RDB快照的方式,将内存中的数据不断写入磁盘;或使用类似MySQL的AOF日志方式,记录每次更新的日志。前者性能较高,但是可能会引起一定程度的数据丢失;后者相反。 

Redis支持将数据同步到多台从数据库上,这种特性对提高读取性能非常有益。


4.3 Redis如何实现分布式可拓展性?

 

2.8以前的版本:与Memcached一致,可以在客户端实现,也可以使用代理,twitter已开发出用于Redis和Memcached的代理Twemproxy 。

3.0 以后的版本:相较于Memcached只能采用客户端实现分布式存储,Redis则在服务器端构建分布式存储。Redis Cluster是一个实现了分布式且允许单点故障的Redis高级版本,它没有中心节点,各个节点地位一致,具有线性可伸缩的功能。

如图给出Redis Cluster的分布式存储架构,其中节点与节点之间通过二进制协议进行通信,节点与客户端之间通过ascii协议进行通信。在数据的放置策略上,Redis Cluster将整个 key的数值域分成16384个哈希槽,每个节点上可以存储一个或多个哈希槽,也就是说当前Redis Cluster支持的最大节点数就是16384

 

     

4.4 Memcached介绍  

 

Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态、数据库驱动网站的速度,现在已被LiveJournal、hatena、Facebook、Vox、LiveJournal等公司所使用。

 

4.5 Memcached工作方式分析

     

许多Web应用都将数据保存到 RDBMS中,应用服务器从中读取数据并在浏览器中显示。 但随着数据量的增大、访问的集中,就会出现RDBMS的负担加重、数据库响应恶化、 网站显示延迟等重大影响。

Memcached是高性能的分布式内存缓存服务器,通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web等应用的速度、 提高可扩展性。下图展示了memcache与数据库端协同工作情况:     

其中的过程是这样的:

1. 检查用户请求的数据是缓存中是否有存在,如果有存在的话,只需要直接把请求的数据返回,无需查询数据库。

2. 如果请求的数据在缓存中找不到,这时候再去查询数据库。返回请求数据的同时,把数据存储到缓存中一份。

3. 保持缓存的“新鲜性”,每当数据发生变化的时候(比如,数据有被修改,或被删除的情况下),要同步的更新缓存信息,确保用户不会在缓存取到旧的数据。

  

Memcached作为高速运行的分布式缓存服务器,具有以下的特点: 

1. 协议简单 

2. 基于libevent的事件处理 

3. 内置内存存储方式

4. memcached不互相通信的分布式

4.6 如何实现分布式可拓展性?

Memcached的分布式不是在服务器端实现的,而是在客户端应用中实现的,即通过内置算法制定目标数据的节点,如下图所示:

五、综合结论

 

应该说Memcached和Redis都能很好的满足解决我们的问题,它们性能都很高,总的来说,可以把Redis理解为是对Memcached的拓展,是更加重量级的实现,提供了更多更强大的功能。具体来说:

 

1、性能 

性能上都很出色,具体到细节,由于Redis只使用单核,而Memcached可以使用多核,所以平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中,Memcached性能要高于Redis,虽然Redis最近也在存储大数据的性能上进行优化,但是比起 Memcached,还是稍有逊色。

总体来讲,TPS 方面 Redis 和 Memcache 差不多,Redis 支持高并发量,官方宣传支持10万级别的并发读写。 

2、操作的便利性 

Memcached 数据结构单一(key-value),仅用来缓存数据。 

Redis 支持的数据类型更多,数据操作方面,Redis 更好一些,也可以在服务器端直接对数据进行丰富的操作,这样可以减少网络IO次数和数据体积,同时还提供String、Hash、List、Set和Sorted Set等数据结构的存储。 

3、内存空间的大小和数据量的大小 

Redis 在 2.0 版本后增加了自己的 VM 特性,突破物理内存的限制,可以限定内存使用大小,当数据超过阈值,则通过类似LRU的算法把内存中的最不常用数据保存到硬盘的页面文件中;可以对 key value 设置过期时间(类似Memcached);Redis一个value最大支持512MB。 

Memcached 可以修改最大可用内存,采用 LRU 算法;Memcached单个key-value大小有限,一个value最大只支持1MB。 

4、可靠性(持久化) 

Redis 具有持久化机制,可以定期将内存中的数据持久化到硬盘上,Redis 支持(快照、AOF),依赖快照进行持久化,aof 增强了可靠性的同时,对性能有所影响。 

Memcached 不支持数据持久化,断电或重启后数据消失,通常用在做缓存,提升性能。 

5、数据一致性(事务支持) 

Memcached 在并发场景下,用 cas 保证一致性Redis 事务支持比较弱,只能保证事务中的每个操作连续执行。 

6、应用场景 

Redis:适用于对读写效率要求都很高,数据处理业务复杂和对安全性要求较高的系统;数据量较小的更性能操作和运算,Redis 只使用单核,而 Memcached 可以使用多核,所以平均每一个核上Redis在存储小数据时比Memcached性能更高。 

    

Memcached:用于在动态系统中减少数据库负载,提升性能;做缓存,提高性能(适合读多写少,对于数据量比较大,可以采用 sharding)。 

 

六、需要慎重考虑的部分

 

1. Memcached单个key-value大小有限,一个value最大只支持1MB,而Redis最大支持512MB

2. Memcached只是个内存缓存,对可靠性无要求;而Redis更倾向于内存数据库,因此对对可靠性方面要求比较高

3. 从本质上讲,Memcached只是一个单一key-value内存Cache;而Redis则是一个数据结构内存数据库,支持五种数据类型,因此Redis除单纯缓存作用外,还可以处理一些简单的逻辑运算,Redis不仅可以缓存,而且还可以作为数据库用

4. 新版本(3.0)的Redis是指集群分布式,也就是说集群本身均衡客户端请求,各个节点可以交流,可拓展行、可维护性更强大。

七、总结

1. 没有必要过于关注性能,因为二者的性能都已经足够高了。由于Redis只使用单核,而Memcached可以使用多核,所以二者比较起来,平均每一个核上,Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中,Memcached性能要高于Redis。虽然Redis最近也在存储大数据的性能上进行优化,但是比起Memcached,还是稍有逊色。说了这么多,结论是,无论你使用哪一个,每秒处理请求的次数都不会成为瓶颈。 

2. 在内存使用效率上,如果使用简单的key-value存储,Memcached的内存利用率更高。而如果Redis采用hash结构来做key-value存储,由于其组合式的压缩,其内存利用率会高于Memcached。当然,这和你的应用场景和数据特性有关。 

3. 如果你对数据持久化和数据同步有所要求,那么推荐你选择Redis。因为这两个特性Memcached都不具备。即使你只是希望在升级或者重启系统后缓存数据不会丢失,选择Redis也是明智的。 

4. 当然,最后还得说到你的具体应用需求。Redis相比Memcached来说,拥有更多的数据结构,并支持更丰富的数据操作。通常在Memcached里,你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中,这些复杂的操作通常和一般的GET/SET一样高效。所以,如果你需要缓存能够支持更复杂的结构和操作,那么Redis会是不错的选择。

关注下方二维码,订阅更多精彩内容。

转发朋友圈,是对我最大的支持。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/546593.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我被面试官给虐懵了,竟然是因为我不懂Spring中的@Configuration

作者 l cxuan来源 l Hollis(ID:hollischuang)现在大部分的Spring项目都采用了基于注解的配置,采用了Configuration 替换标签的做法。一行简单的注解就可以解决很多事情。但是,其实每一个注解背后都有很多值得学习和思考…

jQuery中的.bind()、.live()和.delegate()之间区别分析,学习jquery

2019独角兽企业重金招聘Python工程师标准>>> DOM树 首先,可视化一个HMTL文档的DOM树是很有帮助的。一个简单的HTML页面看起来就像是这个样子: 事件冒泡(又称事件传播) 当我们点击一个链接时,其触发了链接元素的单击事件&#xff0…

Java中常用的4个Json库,哪个性能更牛逼?

来源:http://u6.gg/sDMab前言每次都在网上看到别人说什么某某库性能是如何如何的好,碾压其他的库。但是百闻不如一见,只有自己亲手测试过的才是最值得相信的,本篇通过JMH来测试一下Java中几种常见的JSON解析库的性能。JSON不管是在…

别在Java代码里乱打日志了,这才是正确的打日志姿势!

原文链接:http://t.cn/E9BkD7a使用slf4j使用门面模式的日志框架,有利于维护和各个类的日志处理方式统一。实现方式统一使用: Logback框架打日志的正确方式什么时候应该打日志当你遇到问题的时候,只能通过debug功能来确定问题,你应…

局域网IP地址查看软件V2.0使用教程 Python办公自动化

简介: 在企业、公司都有自己的局域网,作为维护网络运维人员还在使用纸质或电子excel表记录计算机IP信息。是不是很希望有一款工具软件能够管理局域网内的计算机IP地址,可以统计出不同VLAN下的已使用IP-MAC记录和未使用的IP地址?再…

Oracle 10g RAC 升级(CPU Update)之--升级CRS

Oracle 10g RAC 升级(CPU Update)之--升级CRS系统环境:操作系统:RedHat EL5Cluster: Oracle CRS 10.2.0.1.0Oracle: Oracle 10.2.0.1.0如图所示:RAC 系统架构案例:本案例是从 Oracl…

面试题:聊一聊设计模式的基本原则

设计模式(Design pattern)代表了程序开发的最佳实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结…

python爬虫程序requests采用get和post方式

第1个爬虫程序: main.py #! python # -*- coding: utf-8 -*- from urllib.request import urlopen url "https://www.hao123.com/"if __name__ __main__:resp urlopen(url)# 把读取到网页的页面源代码写入myGetFile.html文件with open("myGetFil…

带你走近AngularJS - 基本功能介绍

带你走近AngularJS系列: 带你走近AngularJS - 基本功能介绍带你走近AngularJS - 体验指令实例带你走近AngularJS - 创建自定义指令------------------------------------------------------------------------------------------------ AngularJS是Google推出的一款…

解决SpringBoot多模块发布时99%的问题?SpringBoot发布的8个原则和4个问题的解决方案

如果使用 SpringBoot 多模块发布到外部 Tomcat,可能会遇到各种各样的问题。本文归纳了以下 8 个原则和发布时经常出现的 4 个问题的解决方案,掌握了这些原则和解决方案,几乎可以解决绝大数 SpringBoot 发布问题。 SpringBoot 多模块发布的 8 …

python爬虫 正则表达式 re.finditer 元字符 贪婪匹配 惰性匹配

测试代码1: main5.py # -*- coding: utf-8 -*- import reif __name__ __main__:# findall匹配字符串中所有的符合正则的内容lst re.findall(r"\d", "濮阳电话区号:0393,郑州电话区号:0371")print(lst)# 【…

如何在路由器的局域网下使用IIS发布网页

这两天尝试着使用IIS发布网页,但是学校宿舍只有一个网线接口,所以宿舍只申请了一个IP然后使用路由器共享网络。但是问题出现了:发布后的网页通过“IP:端口号”只能被自己宿舍的电脑(同一路由器)访问&#x…

U盘安装ubuntu20.04 Linux系统分区方案 Invalid Partition Table

一、简介: 一般磁盘分区表有两种格式:MBR和GPT,目前主要的BIOS系统引导方式也有两种:传统的Legacy BIOS和新型的UEFI BIOS 如果主机BIOS系统引导方式采用传统的Legacy BIOS,那么安装ubuntu系统的磁盘分区表使用MBR格式…

面试珍藏:最常见的200多道Java面试题(2019年最新版)

作者:老王来自公众号:Java中文社群(ID:javacn666)2015 年,因为工作岗位的变动,开始负责给集团招聘一些技术人员,出于对公司的负责,也为了更好的胜任技术经理的职位&#…

ubuntu20.04使用终端命令安装谷歌Chrome浏览器稳定版

使用命令行安装谷歌浏览器稳定版 sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -sudo apt-get updatesudo apt-get install google-chr…

面试官:数据量大的情况下分页查询很慢,有什么优化方案?

来源: http://uee.me/aVSnD当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询。对于数据库分页查询,也有很多种方法和优化的点。下面简单说一下我知道…

python爬虫获取中国天气网天气数据 requests BeautifulSoup re

python获取中国天气网天气数据:http://www.weather.com.cn/textFC/henan.shtml main.py # -*- coding: utf-8 -*- import requests from xpinyin import Pinyin from bs4 import BeautifulSoup import

使用Exchange反垃圾邮件组件解决内部仿冒邮件

最近一个朋友遇到一个很有意思的问题,在生产环境中我们装好Exchange之后,肯定需要配置外部邮件的收发。按照我们对邮件系统的理解,我们必须在default 接收连接器上的权限设置,允许匿名连接,才能实现外部邮件的接收。如…

VMware ubuntu20.04 server随win10自动启动与关闭

一、背景简介: 在win10下安装虚拟机,此虚拟机作为服务器使用,但是wi10电脑经常开关机,有的情况下,关机前没有主动关闭虚拟机,到此服务器需要收到重启,且数据容易丢失,配置 win10开机…

秋招注意事项和面试通关攻略

首先给大家说声抱歉,最近由于个人工作(突然996)和精力上的原因,导致公众号断更了一段时间,后面会逐渐恢复公众号的更新,在此感谢大家的理解和支持。国内主流的互联网公司在 8 月份都开放了秋招申请,那秋招有哪些需要注…