redis分片_Redis分片

redis分片

本文是我们学院课程的一部分,标题为Redis NoSQL键值存储 。

这是Redis的速成课程。 您将学习如何安装Redis和启动服务器。 此外,您还会在Redis命令行上乱七八糟。 接下来是更高级的主题,例如复制,分片和集群,同时还介绍了Redis与Spring Data的集成。 在这里查看 !

目录

1.简介 2.何时使用分片(分区) 3.分片(分区)方案 4.分片(分区)实现 5.规划分片(分区) 6.分片(分区)和复制 7.用Twemproxy进行分片(分区) 8.接下来

1.简介

我们每天处理的数据量呈指数级增长。 当必要的数据无法容纳在内存中,甚至物理存储空间不足时,我们经常面临单个设备的硬件限制。 多年来,这些问题导致业界开发了可以克服此类限制的数据分片(或数据分区)解决方案。

在Redis中,数据分片(分区)是一种在多个Redis实例之间拆分所有数据的技术,以便每个实例仅包含键的一个子集。 通过添加越来越多的实例并将数据划分为较小的部分(碎片或分区),这样的过程可以减轻数据的增长。 不仅如此,这还意味着越来越多的计算能力可用于处理数据,有效地支持水平缩放。

尽管并非所有解决方案都是双赢的,但仍需要权衡取舍:通过在多个实例之间拆分数据,查找特定键(或多个键)的问题成为一个问题。 这就是分片(分区)方案的用武之地:应该按照一些一致或固定的规则对数据进行分片(分区),以便对同一密钥的写入和读取操作应转到拥有(拥有)此密钥的Redis实例。

本教程的材料基于与分区和分区有关的出色Redis文档: http : //redis.io/topics/partitioning

2.何时使用分片(分区)

根据Redis文档( http://redis.io/topics/partitioning ),如果要执行以下操作,应考虑对数据进行分片(分区):

  • 使用多台计算机的内存来管理更大的数据库(否​​则,您将受限于单台计算机可以支持的内存量)
  • 扩展多个CPU,多个计算机的计算能力,并利用它们的网络带宽

如果您认为现在没有数据缩放问题,则可能会在不久的将来遇到此问题,因此最好做好准备并提前考虑(请参阅规划分片(分区) )。 但是在这样做之前,请考虑分片(分区)带来的复杂性和缺点:

  • 通常不支持涉及多个键的操作。 例如,如果两个集合( SINTER )存储在映射到不同Redis实例的键中,则不可能直接执行它们之间的交集。
  • 涉及映射到不同Redis实例的多个密钥的事务是不可能的。
  • 分区是基于键的,因此无法使用单个大键(很大的排序集或列表)对数据集进行分片(分区)。
  • 备份和持久管理要复杂得多:您必须处理多个RDB / AOF文件,备份涉及来自许多实例的RDB文件的聚合(合并)。
  • 除非您对此进行了计划,否则在运行时添加和删除实例可能会导致数据失衡(请参阅规划分片(分区) )。

3.分片(分区)方案

Redis可以使用几种经过战斗验证的分片(分区)方案,具体取决于您的数据模式。

  • 范围划分
    通过将对象范围映射到特定的Redis实例中来完成。 例如,假设我们正在存储一些用户数据,并且每个用户都有其唯一的标识符(ID)。 在我们的分区方案中,我们可以定义ID从0到10000的用户将进入实例Redis 1,而ID从10001到20000的用户将进入实例Redis 2,依此类推。 该方案的缺点是,范围和实例之间的映射应该被维护,并且应该与Redis中保留的对象(用户,产品等)的种类一样多的映射。
  • 哈希分区
    该方案适用于任何密钥,但涉及哈希函数 :此函数应将密钥名称映射到某个数字。 假设我们有这样一个函数(我们称其为hash_func ),这样的方案就是这样的:
    • 取得键名,并使用hash_func将其映射到数字

    哈希函数的选择非常重要。 良好的哈希函数可确保密钥在所有Redis实例上平均分布,因此不会在任何单个实例上建立过多的密钥。

  • 一致性哈希
    它是hash partitioning的一种高级形式,被许多解决方案用于数据分片(分区)。

4.分片(分区)实现

从实现的角度来看,根据应用程序的体系结构,有几种可能的数据分片(分区)实现:

  • 客户端分区
    客户端直接选择正确的实例来写入或读取给定的密钥。
  • 代理辅助分区
    客户端将请求发送到支持Redis协议的代理,而不是直接将请求发送到正确的Redis实例。 代理将确保根据配置的分区方案将请求转发到正确的Redis实例,并将答复发送回客户端(最著名的实现是Twitter的Twemproxy , https://github.com/twitter/ twemproxy )。
  • 查询路由
    客户端将查询发送到随机Redis实例,该实例将确保将查询转发到正确的实例。 查询路由的混合形式假定客户端被重定向到正确的实例(但是查询不会直接从一个Redis实例转发到另一个实例),并将在本教程的第5部分 Redis Clustering中进行介绍 。

5.规划分片(分区)

如前所述,一旦您开始在许多Redis实例之间使用数据分片(分区),则在运行时添加和删除实例可能会很困难。 您经常会在Redis中使用的一种技术被称为Presharding ( http://redis.io/topics/partitioning )。

预分片的想法是从一开始就以许多实例开始(但实际节点/服务器只有一个或很少数量)。 自开始以来,实例的数量可能会有所不同并且可能会很大(对于大多数用例而言,32或64个实例就足够了)。 由于Redis非常轻巧,因此完全有可能在单个服务器上运行64个Redis实例。

这样,随着数据存储需求的增长以及需要更多Redis节点/服务器来处理它,可以将实例从一台服务器简单地移动到另一台服务器。 例如,如果您有一台服务器并添加了另外一台服务器,则应将第一台服务器的一半Redis实例移至第二台服务器。 当每个服务器/节点上有一个Redis实例时,此技巧可能会一直持续下去。

但是要记住一件事:如果将Redis用作数据的内存缓存(而不是持久性数据存储),则可能不需要使用预分片。 一致的散列实现通常能够在运行时处理新的或删除的实例。 例如,如果给定密钥的首选实例不可用,则该密钥将被其他实例拾取。 或者,如果添加新实例,则新密钥的一部分将存储在该新实例上。

6.分片(分区)和复制

在许多实例之间分片(分区)数据并不能解决数据安全和冗余问题。 如果其中一个分片(分区)由于硬件故障而死亡,而您没有备份来还原数据,则意味着您将永远丢失数据。

这就是为什么分片(分区)与复制并存的原因。 如果将Redis用作持久性数据存储,则最好为不同服务器/节点上的每个分片(分区)配置至少一个副本。 这可能会使您的容量需求增加一倍,但确保数据安全就显得更为重要。

复制的配置与本教程第3部分“ Redis复制 ”中介绍的配置没有任何不同。

7.用Twemproxy进行分片(分区)

Twemproxy (也称为nutcracker )是由Twitter( https://github.com/twitter/twemproxy )开发和开源的,它是Redis的广泛使用,非常快速且轻量级的代理。 尽管它具有许多功能,但我们要介绍的功能与其向Redis添加分片(分区)的能力有关:

  • 在多台服务器之间自动分片数据
  • 支持多种哈希模式,包括一致的哈希和分布

Twemproxynutcracker )非常易于安装和配置。 本教程的最新版本是0.3.0 ,可以从http://code.google.com/p/twemproxy/downloads/list下载。 安装非常简单。

  1. 下载
    wget http://twemproxy.googlecode.com/files/nutcracker-0.3.0.tar.gz
  2. 解压缩档案
    tar xfz nutcracker-0.3.0.tar.gz
  3. 构建(您需要的唯一预装软件包是gccmake )。
    cd nutcracker-0.3.0
    ./configure
    make
  4. 安装
    sudo make install

默认情况下, twemproxynutcracker )将位于/usr/local/sbin/nutcracker 。 安装后,最重要(但是非常简单)的部分是其配置。

Twemproxynutcracker )使用YAML作为配置文件格式( http://www.yaml.org/ )。 在twemproxynutcracker )支持的许多设置中,我们将选择与分片(分区)相关的设置。

设置 听:名称:端口| ip:端口
描述 此服务器池的侦听地址和端口( name:portip:port )。
听:127.0.0.1:22121

表格1

设置 哈希:<功能>
描述 哈希函数的名称。 可能的值为:

- 一次一个

– md5( http://en.wikipedia.org/wiki/MD5 )

– crc16( http://en.wikipedia.org/wiki/Cyclic_redundancy_check )

– crc32(与libmemcached兼容的crc32实现)

– crc32a(根据规范正确的crc32实现)

– fnv1_64( http://en.wikipedia.org/wiki/Fowler–Noll–Vo_hash_function )

– fnv1a_64( http://en.wikipedia.org/wiki/Fowler-Noll-Vo_hash_function )

– fnv1_32( http://en.wikipedia.org/wiki/Fowler–Noll–Vo_hash_function )

– fnv1a_32( http://en.wikipedia.org/wiki/Fowler–Noll–Vo_hash_function )

– hsieh( http://www.azillionmonkeys.com/qed/hash.html )

–杂音( http://en.wikipedia.org/wiki/MurmurHash )

–詹金斯( http://en.wikipedia.org/wiki/Jenkins_hash_function )

杂凑:fnv1a_64

表2

设置 分布:<模式>
描述 密钥分发模式(请参阅http://en.wikipedia.org/wiki/Consistent_hashing )。 可能的值为:

–凯塔玛

–模数

–随机

分布:ketama

表3

设置 redis:是|否
描述 一个布尔值,它控制服务器池是否使用Redis或Memcached协议。 由于我们将仅使用Redis,因此此设置应设置为true 。 默认为false
redis:是的

表4

设置 auto_eject_hosts:true |
描述 一个布尔值,它控制服务器连续失败server_failure_limit次后是否应暂时退出服务器。 默认为false
auto_eject_hosts:否

表5

设置 server_retry_timeout:<毫秒>
描述 auto_eject_host设置为true时,在临时弹出的服务器上重试之前等待的超时值(以毫秒为单位)。 默认值为30000毫秒。
server_retry_timeout:30000

表6

设置 server_failure_limit:<数字>
描述 auto_eject_host设置为true时,服务器上导致其暂时退出的连续失败次数。 默认为2
server_failure_limit:2

表7

设置 服务器:

名称:端口:重量| ip:端口:重量

名称:端口:重量| ip:端口:重量

描述 特定服务器池的服务器地址,端口和权重( name:port:weightip:port:weight)的列表。
服务器:

127.0.0.1:6379:1

127.0.0.1:6380:1

表8

我们将使用三个Redis实例(服务器池)构建一个简单的拓扑,并在它们前面配置twemproxynutcracker ),如下图所示:

图1.具有Redis服务器池配置的Twemproxy,包含三个实例。

图1. Twemproxy和Redis服务器池配置由三个实例组成

twemproxynutcracker )发行版中的conf/nutcracker.yml文件是寻找不同配置示例的良好起点。 至于示范,我们将与下面开始sharded服务器池,反映了上面显示的拓扑结构。

文件nutcracker-sharded.yml

sharded:listen: 127.0.0.1:22122hash: fnv1a_64distribution: ketamaauto_eject_hosts: trueredis: trueserver_retry_timeout: 2000server_failure_limit: 2servers:- 127.0.0.1:6380:1- 127.0.0.1:6381:1- 127.0.0.1:6382:1

sharded服务器池使用ketama与关键散列器设置为密钥分发一致性哈希fnv1a_64

在开始之前twemproxynutcracker ),我们应该有三个Redis的情况下,并在端口6380,63816382上运行。

redis-server --port 6380
redis-server --port 6381
redis-server --port 6382

之后,可以使用以下命令启动带有示例配置的twemproxynutcracker )实例:

nutcracker -c nutcracker-sharded.yml
图2. Twemproxy(胡桃夹子)已成功启动。

图2. Twemproxy(胡桃夹子)已成功启动

验证分片(分区)操作的最简单方法是连接到twemproxynutcracker ),存储一对键/值对,然后尝试从每个Redis实例中获取所有存储的键:每个键应返回一个且只有一个例如,其他人应该返回( nil )。 虽然,从twemproxynutcracker )查询相同的键将始终twemproxy先前存储的值。 根据我们的样本配置, twemproxynutcracker )正在侦听端口22122 ,可以使用常规redis-cli工具进行连接。 三个键userkeysomekeyanotherkey将设置为一些值。

图3.在Twemproxy(胡桃夹子)中设置几个键/值对,并验证它们是否已存储。

图3.在Twemproxy(胡桃夹子)中设置几个键/值对并验证它们是否已存储

现在,如果我们从twemproxynutcracker )服务器池中查询每个单独的Redis实例,则某些实例(而不是其他实例)将解析某些键( userkeysomekeyanotherkey )。

图片4. Redis#1没有存储密钥。

图4. Redis#1没有存储密钥

图片5. Redis#2仅存储了一个关键用户密钥。

图5. Redis的#2仅具有一个键userkey存储

图片6。Redis#3有两个一个密钥,一个是密钥,另一个是另一个密钥。

图6. Redis#3有两个一个密钥,一个是somekeyanotherkey另一个key

可能会提出一个有趣的问题:为什么密钥以这种方式存储? 答案是配置的hash function :密钥在服务器池中的所有Redis实例中一致地分布。 但是,为了获得平衡(均匀或随机)的分布,应根据应用程序使用的键命名模式非常仔细地选择配置的hash function 。 如我们的示例所示,密钥并非在所有实例中均匀分布(第一个实例没有任何内容,第二个实例有一个密钥,第三个实例有两个密钥)。

最后的注意事项:尽管twemproxynutcracker )确实支持Redis协议,但由于“ 何时使用分片(分区)”部分中讨论的限制,因此不支持所有命令。

有关twemproxynutcracker )的更多详细信息,请参阅https://github.com/twitter/twemproxy ,它提供了许多不错的最新文档。

8.接下来

在本节中,我们仅介绍了一种如何在Redis中处理分片(分区)的方法。 接下来的第5部分 , Redis群集 ,我们将发现替代解决方案。

翻译自: https://www.javacodegeeks.com/2015/09/redis-sharding.html

redis分片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/337317.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解析C++全排列

点击蓝字关注我们来源于网络&#xff0c;侵删1.C实现全排列的函数next_permutation(start,end)这个函数在暴力解决问题方面有很大作用&#xff0c;使用时需要引入头文件 < algorithm >&#xff0c;当当前序列不存在下一个序列时就会结束&#xff0c;若想得到一个序列的全…

redis开启redis_Redis聚类

redis开启redis本文是我们学院课程的一部分&#xff0c;标题为Redis NoSQL键值存储 。 这是Redis的速成课程。 您将学习如何安装Redis和启动服务器。 此外&#xff0c;您还会在Redis命令行上乱七八糟。 接下来是更高级的主题&#xff0c;例如复制&#xff0c;分片和集群&#…

C++ 读取文件操作

点击蓝字关注我们来源于网络&#xff0c;侵删1.先上代码&#xff1a;#include <fstream> #include<iostream> using namespace std;//文本文件读文件 void test01() {//1、包含头文件//2、创建流对象ifstream ifs;//3、打开文件并且判断是否打开成功ifs.open("…

C/C++,判断变量的类型

点击蓝字关注我们来源于网络&#xff0c;侵删出于某个奇葩需求&#xff0c;研究了一下c/c如何判断变量类型&#xff0c;整理总结在此&#xff0c;分享给大家&#xff0c;也避免自己以后绕弯。一、c判断变量类型c中&#xff0c;可以利用typeid()来判断变量类型。第一步&#xff…

c/c++语言实现登陆界面

点击蓝字关注我们来源自网络&#xff0c;侵删一.整体功能介绍实现一个登陆界面1 输出一个登陆界面2 用户名能够实现邮箱验证&#xff0c;regex库&#xff0c;密码要不可见3 进度条的模拟实现4 音乐播放二.分步实现1.输出一个登陆界面首先对此功能使用到的函数进行简单的介绍。s…

spark restful_Spark入门:也可以用Java创建轻量级的RESTful应用程序

spark restful最近&#xff0c;我一直在使用Spark &#xff08;一种Java的Web框架&#xff0c;与Apache Spark 不相关&#xff09;编写RESTful服务。 当我们计划写这篇文章时&#xff0c;我已经做好了不可避免的接口&#xff0c;样板代码和深层层次结构的Java风格的准备。 令我…

C++的get()函数与getline()函数使用详解

点击蓝字关注我们来源自网络&#xff0c;侵删一.C的get()函数使用详解1.C get()函数get()函数是cin输入流对象的成员函数&#xff0c;它有3种形式&#xff1a;无参数的&#xff1b;有一个参数的&#xff1b;有3个参数的。1) 无参数的其调用形式为cin.get()用来从指定的输入流中…

电脑所有程序里有不一样颜色_12个好玩的电脑屏保,让你成为别人眼中最靓的仔。...

Hello 大家好&#xff0c;这里是工具狂人。作为一个靠打字(哦不&#xff0c;搬砖)为生的新媒体小编&#xff0c;每天多数时候都是对着电脑屏幕&#xff0c;中途有时会拿起手机回复消息、查看短信、刷起微博。刷手机的时间一长&#xff0c;眼前的电脑会自动打开系统的屏保程序&a…

java8 函数式编程_如何使用Java 8函数式编程生成字母序列

java8 函数式编程我偶然发现了用户“ mip”一个有趣的堆栈溢出问题 。 问题是&#xff1a; 我正在寻找一种生成字母序列的方法&#xff1a; A, B, C, ..., Z, AA, AB, AC, ..., ZZ.可以很快将其识别为Excel电子表格的标题&#xff0c;它确实做到了&#xff1a; 到目前为止&a…

C++判断变量/对象/枚举类型的简单方式

点击蓝字关注我们来源于网络&#xff0c;侵删1.关键点<typeinfo>使用typeid()操作符所需包含的头文件。typeid()获取变量类型信息的操作符&#xff0c;其返回值类型为std::typeinfo。我们可使用typeid(n) typeid(int)的方式来判断变量n是否为类型int。注&#xff1a;可以…

C++ 空指针和野指针

点击蓝字关注我们来源于网络&#xff0c;侵删1.空指针指针变量指向内存中编号为0的空间为空指针。空指针指向的内存空间是不可以访问的 。代码&#xff1a;#include<iostream> using namespace std; int main() {int a 10;int * p &a;cout << p << end…

sap abap开发从入门到精通_SAP开发-ABAP数据字典(锁)

企业级软件或开发框架&#xff0c;必然支持后台高并发&#xff0c;即支持多人同时访问数据库。SAP作为资深企业管理软件&#xff0c;自然也不例外&#xff0c;ABAP可以很方便的开发出支持高并发的程序&#xff0c;要实现高并发&#xff0c;正确使用锁对象是其中一个重要环节&am…

(acm)C++加速输入的几种方法

点击蓝字关注我们来源于网络&#xff0c;侵删1.CIO流的同步和绑定在C中&#xff0c;cin和cout的速度其实不并不慢&#xff0c;C中的流的IO速度相当的快&#xff0c;其速度与初始设定的缓存区大小和硬盘的IO速度有关。但在C中&#xff0c;为了兼容C的IO(scanf和printf)&#xff…

服务器编写_编写下载服务器。 第六部分:描述您发送的内容(内容类型等)...

服务器编写就HTTP而言&#xff0c;客户端下载的只是一堆字节。 但是&#xff0c;客户真的很想知道如何解释这些字节。 它是图像吗&#xff1f; 还是ZIP文件&#xff1f; 本系列的最后一部分描述了如何向客户端提示她下载的内容。 设置 内容类型描述了返回的资源的MIME类型 。 …

C语言与C++的区别终于有人说清楚了!

点击蓝字关注我们来源于网络&#xff0c;侵删1、前言在很大程度上&#xff0c;C是C的超集&#xff0c;这意味着一个有效的C程序也是一个有效的C程序。C和C的主要区别是&#xff0c;C支持许多附加特性。但是&#xff0c;C中有许多规则与C稍有不同。这些不同使得C程序作为C程序编…

postgresql两个列模糊比较_数据分析之SQL优化系列(二)---PostgreSQL 的索引

参考《PostgreSQL11.2-中文手册》下面这个链接&#xff0c;讲的通俗易懂&#xff0c;可以看看。数据分析师不得不知道的SQL优化 - 鑫获 - 博客园​www.cnblogs.com索引是提高数据库性能的常用途径。比起没有索引&#xff0c;使用索引可以让数据库服务器更快找到并获取特定行。但…

高达 36 斤的 C/C++ 编译器?

点击蓝字关注我们来源于网络&#xff0c;侵删前言软件有重量吗&#xff1f;有人说&#xff0c;现代的软件主要搭载在硬件之上&#xff0c;只有占用内存的大小&#xff1b;也有人说&#xff0c;软件都是在网络上下载下来的&#xff0c;哪有什么重量可言&#xff1b;还有人说&…

双屏全屏跳回到主屏_双屏笔记本了解下?剪视频不要太好使

[PConline 评测]每天一开始上班&#xff0c;我们就要开始跟各种电脑程序和窗口打交道&#xff0c;而当面对各种信息和数据的轰炸时&#xff0c;恨不得就要把ALTTAB两个键给磨烂了。↑每天至少要面对十多个窗口gif而今天&#xff0c;笔记本厂商也不再吝啬于给予用户更多更大的屏…

一例看懂C语言程序中的内聚和耦合

点击蓝字关注我们来源自网络&#xff0c;侵删一、原理篇&#xff08;清楚相关原理的读者&#xff0c;请直接看第二部分示例篇&#xff09;在软件工程中&#xff0c;模块的内聚和耦合是度量模块化质量的标准之一。内聚是指模块的功能强度的度量&#xff0c;即一个模块内部各个元…

openfire消息通知推送_APP消息推送功能之前端后台设计

APP消息推送功能之前端后台设计最近有不少小伙伴问APP消息推送功能&#xff0c;前端、后台如何设计的&#xff1f;消息系统的架构是什么样的&#xff1f;最近刚好做到后台消息推送这块&#xff0c;简单谈谈个人心得&#xff0c;欢迎拍砖。消息推送是让自己的用户获取信息最有效…