【入门篇】1.7 Redis 之 codis 入门介绍

文章目录

  • 1. 简介
  • 2. Codis的安装与配置
      • 下载
      • 编译源码安装
        • 1. 安装 Go 运行环境
        • 2. 设置编译环境
        • 3. 下载 Codis 源代码
        • 4. 编译 Codis 源代码
    • Docker 部署
  • 3. Codis的架构
    • Codis的架构图和组件
    • Codis的工作流程
  • 4. Codis的核心特性
    • 自动数据分片
    • 数据迁移
    • 高可用性
    • 全面支持Redis命令
    • 分布式锁和发布订阅
  • 5. Codis的高可用与故障恢复
    • Codis的高可用机制
    • 恢复Codis集群的故障节点
  • 6. Codis的使用场景和限制
    • Codis适合的使用场景
    • Codis的一些限制
  • 6. Codis 与Redis Cluster对比
  • 参考文档

在这里插入图片描述

1. 简介

Codis是由Wandou Labs（豌豆荚团队）开发的开源工具，用于解决在大数据环境下使用Redis所面临的挑战。Codis将多个Redis实例组织起来，形成一个统一的数据访问层，从而提供了高可用和分布式的特性，使得Redis能够更好地处理大数据和高并发的场景。

Codis的功能是基于Redis构建的。Redis是一种内存数据库，用于存储键值对数据。然而，当数据量或并发请求数量增长时，单个Redis实例可能会遇到性能瓶颈。Codis通过在多个Redis实例之间进行数据分片，解决了这个问题。另外，Codis还提供了一些其他的高级功能，如数据迁移、故障恢复等。

codis server：基于redis进行了二次开发的组件，负责数据的读写 codis proxy：面向客户端，代理客户端访问codis
server zookeeper 集群：保存元数据，如数据路由表信息，codis proxy信息 codis dashboard,codis
fe：codis dashboard提供维护codis server，codis proxy等功能，codis
fe提供web界面，方便管理人员使用。

通俗的理解Codis可以被视为一个强大的Redis集群解决方案，它提供了更多的功能，并且允许开发者以相似的方式操作Redis实例。在大规模数据处理和高并发环境下，Codis相对于单个Redis实例，可以提供更好的性能和扩展性。

在这里插入图片描述

2. Codis的安装与配置

下载

release binary文件安装

如果是重要的生产环境使用，尽量不要选择alpha、rc版本。 根据自己的部署平台，选择相应的文件下载即可。

编译源码安装

1. 安装 Go 运行环境

参考这里

安装完成后可以运行下列命令进行检测：

$ go version
go version go1.7.3 linux/amd64
2. 设置编译环境

注意 $GOPATH 是本机所有第三方库 go 项目所在目录，Codis 仅是其中之一。

添加 $GOPATH/bin 到 $PATH，例如：PATH=$PATH:$GOPATH/bin。

$ go env GOPATH
/home/codis/gopath
3. 下载 Codis 源代码

Codis 源代码需要下载到 $GOPATH/src/github.com/CodisLabs/codis：

$ mkdir -p $GOPATH/src/github.com/CodisLabs
$ cd $_ && git clone https://github.com/CodisLabs/codis.git -b release3.2
4. 编译 Codis 源代码
  • 直接通过 make 进行编译，会看到如下输出：
$ cd $GOPATH/src/github.com/CodisLabs/codis
$ make
make -j -C extern/redis-3.2.8/
... ...
go build -i -o bin/codis-dashboard ./cmd/dashboard
go build -i -o bin/codis-proxy ./cmd/proxy
go build -i -o bin/codis-admin ./cmd/admin
go build -i -o bin/codis-fe ./cmd/fe$ ls bin/
total 69124
drwxr-xr-x 4 codis codis     4096 Jan  4 14:55 assets
-rwxr-xr-x 1 codis codis 17600752 Jan  4 14:55 codis-admin
-rwxr-xr-x 1 codis codis 18416320 Jan  4 14:55 codis-dashboard
-rwxr-xr-x 1 codis codis  9498040 Jan  4 14:55 codis-fe
-rwxr-xr-x 1 codis codis 11057280 Jan  4 14:55 codis-proxy
-rwxr-xr-x 1 codis codis  4234432 Jan  4 14:55 codis-server
-rw-r--r-- 1 codis codis      148 Jan  4 14:55 version
... ...$ cat bin/version
version = 2016-01-03 14:53:22 +0800 @51f06ae3b58a256a58f857f590430977638846a3
compile = 2016-01-04 15:00:17 +0800 by go version go1.5.2 linux/amd64

详细参考 https://github.com/CodisLabs/codis/blob/master/doc/tutorial_zh.md

通过web浏览器访问集群管理页面(fe地址:127.0.0.1:9090) 选择我们刚搭建的集群 codis-demo，在 Proxy 栏可看到我们已经启动的 Proxy， 但是 Group 栏为空，因为我们启动的 codis-server 并未加入到集群 添加 NEW GROUP，NEW GROUP 行输入 1，再点击 NEW GROUP 即可 添加 Codis Server，Add Server 行输入我们刚刚启动的 codis-server 地址，添加到我们刚新建的 Group，然后再点击 Add Server 按钮即可，如下图所示在这里插入图片描述
通过fe初始化slot
新增的集群 slot 状态是 offline，因此我们需要对它进行初始化（将 1024 个 slot 分配到各个 group），而初始化最快的方法可通过 fe 提供的 rebalance all slots 按钮来做，如下图所示，点击此按钮，我们即快速完成了一个集群的搭建。

rebalance_slots

Docker 部署

Codis 3.x 起，开始正式支持 Docker 部署。这就需要 codis-dashboard 以及 codis-proxy 能够外部的 listen 地址暴露出来并保存在外部存储中。

codis-proxy 增加了 --host-admin 以及 --host-proxy 参数；
codis-dashboard 增加了 --host-admin 参数；
以 codis-proxy 的 Docker 为例：

$ docker run --name "Codis-Proxy" -d -p 29000:19000 -p 21080:11080 codis-image \codis-proxy -c proxy.toml --host-admin 100.0.1.100:29000 --host-proxy 100.0.1.100:21080

codis-proxy 在启动后，会使用 --host-admin 和 --host-proxy 参数所指定的实际地址替换 Docker 内监听的地址，向 codis-dashboard 注册。这样，例如使用 Jodis 的过程中，客户端就能够通过 100.0.1.100:29000 来访问 proxy 实例。

codis-dashboard 也是相同的道理，会使用 --host-admin 地址向外部存储注册，这样 codis-fe 也能通过该地址正确的对 codis-dashboard 进行操作。

具体样例可以参考 scripts/docker.sh。

3. Codis的架构

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Codis的架构图和组件

Codis的架构主要包含以下四个部分：

  1. Proxy：Proxy是Codis的核心组件，它负责请求的路由和负载均衡。用户的请求首先发送到Proxy，然后Proxy将请求转发到相应的Redis实例。
    在这里插入图片描述

  2. Group：Group是一组Redis实例，它们中的数据是一致的。每个Group含有一个Master节点和多个Slave节点，Master节点负责处理写请求，Slave节点用于处理读请求和故障恢复。
    在这里插入图片描述

  3. Dashboard：Dashboard是Codis的管理界面，它提供了一系列的管理和监控功能，如数据迁移、节点管理等。

  4. ZooKeeper：Zookeeper是一个开源的分布式协调服务，Codis使用它来存储和同步集群的状态信息。

Codis的工作流程

在这里插入图片描述

当一个请求发送到Codis时，以下是其大致的处理流程：

  1. Proxy接收到用户的请求。

  2. Proxy查询Zookeeper，获取到请求应该路由到哪个Group。

  3. Proxy将请求转发到对应Group的Master节点。

  4. Master节点处理请求，并将结果返回给Proxy。

  5. Proxy将结果返回给用户。

4. Codis的核心特性

自动数据分片

Codis支持自动的数据分片，能够将数据在多个Redis实例之间进行均匀分布，这样就可以有效地解决单个Redis实例的性能瓶颈。Codis的分片是基于Redis的Key进行的，每个Key会被哈希到一个Slot中，每个Slot对应一个Redis实例。

数据迁移

在某些场景下，可能需要增加或减少Redis实例数量以应对变化的负载。在这种情况下，Codis提供了数据迁移的功能。可以在Dashboard中方便地管理数据迁移的过程，Codis会自动进行数据的迁移和重分布，而这个过程对应用是透明的。

高可用性

Codis集群中的每个Redis实例都有一个或多个备份实例，当主实例发生故障时，备份实例可以立即接管请求，保证了服务的持续可用。Codis使用Zookeeper来检测和管理实例的状态，以实现快速的故障恢复。

全面支持Redis命令

Codis全面支持Redis的各种命令，包括键值操作、列表操作、集合操作等。可以像使用单个Redis实例一样使用Codis，这极大地降低了使用Codis的学习成本。

分布式锁和发布订阅

Codis支持Redis的分布式锁和发布订阅功能，可以使用这些功能来实现各种复杂的并发控制和事件通知需求。

5. Codis的高可用与故障恢复

Codis的高可用机制

Codis的高可用性是通过其内部的故障恢复机制实现的。在Codis中，每个Redis实例（Master节点）都会有一个或多个备份实例（Slave节点）。在正常情况下，所有的写请求都会发送到Master节点，而读请求则可以由任何节点来处理。

当Master节点发生故障时，Codis会自动从其备份节点中选举出一个新的Master节点接管服务。这个过程是自动进行的，对于用户来说，除了可能会有短暂的服务中断外，其他的都是透明的。

Codis使用Zookeeper来检测和管理节点的状态，当检测到节点发生故障时，Zookeeper会自动触发故障恢复流程。

恢复Codis集群的故障节点

当一个节点发生故障后，可以使用Codis提供的工具来恢复它。以下是一个例子：

# 停止故障节点
codis-admin --proxy=proxy_addr --offline# 修复故障节点
codis-admin --proxy=proxy_addr --online

在这个例子中，proxy_addr是故障节点的地址。首先需要将故障节点设置为离线状态，然后修复节点后，再将其设置为在线状态。

此外，还可以使用Codis的Dashboard来可视化地管理和监控Codis集群的状态，包括故障恢复等操作。

需要注意的是，Codis的高可用机制并不能保证数据的一致性。如果在Master节点故障期间有写请求，则这些请求可能会丢失。因此，需要根据的应用的需求，选择合适的数据持久化和备份策略。

6. Codis的使用场景和限制

Codis适合的使用场景

  • 大规模数据存储：Codis通过数据分片和负载均衡，可以支持大规模的数据存储。如果的应用需要存储TB级别的数据，并且需要高性能的读写操作，Codis是一个不错的选择。
  • 高可用服务：Codis内置了故障恢复机制，可以在节点发生故障时自动进行故障转移，保证服务的高可用性。
  • 实时数据缓存：Codis可以作为一个高性能的分布式缓存，用于存储和查询实时数据。例如，可以使用Codis来实现一个实时的内容推荐系统。
  • 会话存储：Codis可以用于存储用户的会话信息。比如，可以使用Codis来实现一个分布式的会话管理系统。

Codis的一些限制

  • 事务支持：Codis不支持Redis的事务操作。如果的应用需要使用事务，可能需要考虑其他的解决方案，或者使用其他的并发控制机制替代事务。
  • 强一致性：Codis的数据分布是基于最终一致性模型的，它不能保证强一致性。如果的应用需要强一致性，可能需要考虑其他的数据存储方案。
  • 复杂查询：Codis不支持Redis的复杂查询操作，如排序和聚合等。如果的应用需要进行复杂的数据处理和查询，可能需要考虑其他的数据处理框架。
  • 持久化：虽然Codis支持Redis的持久化功能，但由于Codis是分布式的，所以持久化的过程可能会比较复杂。

6. Codis 与Redis Cluster对比

对比项CodisRedis Cluster
可靠性可靠可靠
扩容支持支持
数据迁移同步迁移，异步迁移同步迁移
客户端兼容性兼容不兼容，需要支持Cluster的客户端
组件数量多不需要额外组件，只需要Redis实例
成本组件多，成本高不需要额外组件，成本低
成熟度高低于Codis

Codis的优势在于可靠性、支持扩容、数据迁移方式的灵活性以及客户端兼容性。而Redis Cluster的优势在于组件少、成本低。
在实际应用中，你可以根据以下几点来选择：

  • 可靠性：如果你需要一个高可靠性的数据存储方案，Codis和Redis Cluster都是不错的选择。
  • 扩容能力：如果你预计你的数据将会快速增长，需要一个可以方便扩容的方案，那么Codis和Redis Cluster都可以满足你的需求。
  • 数据迁移：如果你需要频繁地进行数据迁移，Codis可能是更好的选择，因为它支持异步数据迁移。
  • 客户端兼容性：如果你的应用已经使用了Redis，而你不希望修改客户端代码，Codis可能是更好的选择，因为它完全兼容Redis的客户端。
  • 成本：如果你希望尽量降低成本，Redis Cluster可能是更好的选择，因为它不需要额外的组件。
  • 成熟度：如果你希望使用一款经过实践检验的成熟产品，Codis可能是更好的选择，因为它相比Redis Cluster有更长的使用历史和更高的成熟度。

参考文档

https://blog.csdn.net/wang0907/article/details/128341489

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/145253.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【fbtft】如何添加fbtft驱动

【fbtft】如何添加fbtft驱动

获取lcd ic的datasheet，或者直接找到其他平台（linux，stm32，esp32）的驱动 我用的是合宙的esp32驱动，注意是c语言的，合宙上层用lua封装了，需要找到sdk源码。 源码路径： …
阅读更多...
File类和IO流

File类和IO流

我是南城余！阿里云开发者平台专家博士证书获得者！ 欢迎关注我的博客！一同成长！ 一名从事运维开发的worker，记录分享学习。 专注于AI，运维开发，windows Linux 系统领域的分享！ 本…
阅读更多...
设置chunk自动扩展到多大

设置chunk自动扩展到多大

1. 设置chunk自动扩展 execute function task(modify chunk extendable on,8); 2. 设置dbs扩展到多大合适 execute function task(modify space sp sizes,testdb1024,1024,10240) testdb 初始1MB 下次扩1MB 最大10MB
阅读更多...
appium+python自动化测试

appium+python自动化测试

获取APP的包名 1、aapt即Android Asset Packaging Tool，在SDK的build-tools目录下。该工具可以查看apk包名和launcherActivity 2、在android-sdk里面双击SDK-manager,下载buidl-tools 3、勾选build-tools，随便选一个版本，我这里选的是24的版…
阅读更多...
宏集干货 | 手把手教你通过CODESYS V3进行PLC编程（三）

宏集干货 | 手把手教你通过CODESYS V3进行PLC编程（三）

来源：宏集科技 工业物联网 宏集干货 | 手把手教你通过CODESYS V3进行PLC编程（三） 教程背景 通过之前的教程，我们已经为大家演示了宏集MC-Prime控制器的连接、试运行和CODESYS的安装，并创建了一个计数器项目。在本期教…
阅读更多...
数据分析 - 分散性与变异的量度

数据分析 - 分散性与变异的量度

全距 - 极差 处理变异性 方差度量 数值与均值的距离，也就是数据的差异性 标准差描述：典型值 和 均值的距离的方法，数据与均值的分散情况
阅读更多...
出行类app如何提升广告变现收益？

出行类app如何提升广告变现收益？

出行类APP已经成为越来越多人们出行的首选，出行类app在变现方式上存在以下痛点：APP功能单一、使用场景单一；用户使用时间集中，粘性低...这些痛点使得开发者获取收益的提升面临极大的挑战。 https://www.shenshiads.com 如何让出…
阅读更多...
【ARL灯塔搭建详细教程】

【ARL灯塔搭建详细教程】

文章目录 前言一、前期准备二、安装docker及docker-compose三、安装ARL灯塔四、登录ARL灯塔 前言 ARL（Asset Reconnaissance Lighthouse）资产侦查灯塔旨在快速发现并整理企业外网资产并为资产构建基础数据库，无需登录凭证或特殊访问即可主动…
阅读更多...
Python ... takes 0 positional arguments but 1 was given

Python ... takes 0 positional arguments but 1 was given

最近，博主在学习python时遇到这么个报错， 系统：windows10 开发环境：VS Code Python版本：3.12 错误重现： class Dog:def __init__(self):passdef eatSomething(self):self.eatBone()def eatBone():prin…
阅读更多...
Ubuntu18.04安装Loam保姆级教程

Ubuntu18.04安装Loam保姆级教程

系统环境：Ubuntu18.04.6 LTS 1.Loam的安装前要求： 1.1 ROS安装：参考我的另一篇博客 Ubuntu18.04安装ROS-melodic保姆级教程_灬杨三岁灬的博客-CSDN博客还是那句话，有时候加了这行也不好使，我是疯狂试了20次&#xf…
阅读更多...
quartz笔记

quartz笔记

Quartz-CSDN博客 上面是Quartz的一些基本知识,如果对quartz的基本API不是很了解的话,建议先看下上面的 和Linux Crontab对比 1.执行粒度: Linux Crontab是进程级 quart是线程级 2.跨平台性: Crontab只能在Linxu运行 quart是java实现,可以跨平台 3.调度集上 Crontab的…
阅读更多...
VUE指令、computed计算属性和watch 侦听器（附带详细案例）

VUE指令、computed计算属性和watch 侦听器（附带详细案例）

文章目录 前言一、指令补充1. 指令修饰符2. v-bind对于样式操作的增强 - class3. 案例 - 京东秒杀 tab 导航高亮4. v-bind对于样式操作的增强 - style5. v-model应用于其他表单元素 二、computed计算属性1. 基础语法2. 计算属性 vS method 方法3. 完整写法4. 成绩案例 三、watc…
阅读更多...
Java读取本地文件

Java读取本地文件

import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException;public class Main {public static void main(String[] args) {String filePath "C:/Users/admin/Desktop/知识点记录.md";// 创建一个文件对象File f…
阅读更多...
关于苏州立讯公司国产替代案例（使用我公司H82409S网络变压器和E1152E01A-YG网口连接器产品）

关于苏州立讯公司国产替代案例（使用我公司H82409S网络变压器和E1152E01A-YG网口连接器产品）

关于苏州立讯公司国产替代案例（使用我们公司的H82409S网络变压器和E1152E01A-YG网口连接器产品） 苏州立讯公司是一家专注于通信设备制造的企业，他们在其产品中选择了我们公司的H82409S网络变压器和E1152E01A-YG网口连接器，以实现…
阅读更多...
你是想被ChatGPT改变，还是改变软件开发的未来？丨IDCF

你是想被ChatGPT改变，还是改变软件开发的未来？丨IDCF

人工智能技术的发展，正在深刻地改变着我们的生活和工作方式。在软件工程领域，ChatGPT作为一种新兴的人工智能技术，正在逐渐地被应用到软件开发的各个环节中。那么，ChatGPT对每个人的影响是什么呢？ 一、对软件开发人员…
阅读更多...
数据结构 链表

数据结构 链表

单链表&#xff1a;单链表用来写邻接表&#xff0c;邻接表用来存储图和树 双链表&#xff1a;用来优化某些问题 单链表 链式存储 #include<stdio.h> #include<stdlib.h> int cont 0; //结构体 typedef struct List { int data; //数据域 struct List* next; //…
阅读更多...
Azure的AI使用-(语言检测、图像分析、图像文本识别)

Azure的AI使用-(语言检测、图像分析、图像文本识别)

1.语言检测 安装包&#xff1a; # 语言检测 %pip install azure-ai-textanalytics5.2.0 需要用到密钥和资源的终结点&#xff0c;所以去Azure上创建资源&#xff0c;我这个是创建好的了然后点击密钥和终结者去拿到key和终结点 两个密钥选择哪个都行 语言检测代码示例&#…
阅读更多...
使用CXF调用WSDL（二）

使用CXF调用WSDL（二）

简介 本篇文章主要解决了上篇文章中遗留的对象嵌套问题&#xff0c;要想全面解析无限极的对象嵌套需要使用递归去解决 上文链接&#xff1a; 使用CXF调用WSDL&#xff08;一&#xff09; 上文回顾 上文使用了单方法“ call() ”解决了List和基本类型&#xff08;含String&…
阅读更多...
【Linux】Linux进程间通信（二）

【Linux】Linux进程间通信（二）

​ ​&#x1f4dd;个人主页&#xff1a;Sherry的成长之路 &#x1f3e0;学习社区&#xff1a;Sherry的成长之路&#xff08;个人社区&#xff09; &#x1f4d6;专栏链接&#xff1a;Linux &#x1f3af;长路漫漫浩浩&#xff0c;万事皆有期待 上一篇博客&#xff1a;【Linux】…
阅读更多...
2023年09月 Python（六级）真题解析#中国电子学会#全国青少年软件编程等级考试

2023年09月 Python（六级）真题解析#中国电子学会#全国青少年软件编程等级考试

Python等级考试（1~6级）全部真题・点这里 一、单选题（共25题，每题2分，共50分） 第1题 以下选项中，不是tkinter变量类型的是？（　） A: IntVar() B: StringVar() C: DoubleVar() D: FloatVar() 答案：D tkinter 无 FloatVar()变量类型。 第2题 关于tkinter，以下说…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023