【虹科分享】什么是Redis数据集成(RDI)?

大量的应用程序、日益增长的用户规模、不断扩展的技术需求,以及对即时响应的持续追求。想想这些是否正是你在经历的。也许你尝试过自己构建工具来应对这些需求,但是大量的编码和集成工作使你焦头烂额。那你是否知道,有这样一个工具可以帮助你实现从缓存中执行所有查询?

一、推出Redis数据集成(RDI)的背景
企业面临着大量的应用程序、日益增长的用户规模、不断扩展的技术需求,以及对即时响应的持续追求。Redis Enterprise提供对数据的实时访问,并且可以水平扩展,但是如何使 Redis 缓存与数据库保持一致,以便所有查询都可以从缓存执行?

有些组织决定自己承担,只是发现构建缓存预取(或有时称为提前刷新)非常困难。 他们需要自己构建一个可靠的流传输管道。首先捕获源数据库中发生的所有数据更改,然后将数据转换为 Redis 数据类型以允许应用程序获取它。此过程通常涉及数据转换和去规范化。他们需要集成多个组件(变更数据捕获 (Change Data Capture, CDC)、流式传输和 Redis 连接器)、编码转换、错误处理和许多其他企业基本要求,而这些用于工具构建的时间可以去做更有成效的工作。

在用户面临着种种问题的情况下, Redis 数据集成 (RDI) 的公开预览版在万众期待下诞生了。RDI 允许开发人员将数据库转移到 Redis Enterprise、镜像应用程序数据并以内存中的速度运行,而且不需要投入编码或集成工作。

二、进入Redis数据集成
Redis 数据集成(RDI) 是在 Redis Enterprise 内部运行的工具。它可以帮助用户近乎实时地将数据从现有关系数据库同步到 Redis,以便应用程序读取查询完全从关系数据库转移到 Redis。
数据转换过程

                     数据转换过程
RDI 管道有两个阶段:
  • 捕获数据库更改并将其流式传输到 RDI 转换任务中
  • 使用声明性指令对数据进行转换和去规范化,然后将其写入目标Redis 缓存
数据转换过程:
  • Debezium是一个开源 CDC 平台,捕获源数据库中数据的更改并将其流式传输到 RDI。在 Redis 内,数据可以被进一步过滤、转换并映射到一个或多个 Redis 键。RDI 支持多种Redis 数据类型(Hash、JSON、Set 和 Stream)。RDI 将数据写入目标 Redis 数据库。它承担了繁重的工作,因此开发人员可以专注于应用程序代码,而不是集成琐事和数据转换代码。
  • RDI可以与其他CDC工具和数据流连接,借助这样的集成解决方案,开发人员可以使用 RDI 作为核心,以简单的方式将各种数据库的更改流式传输到 Redis Enterprise 和其他数据平台。

使用Debezium服务器提取

                  使用 Debezium 服务器提取

三、无代码数据过滤和转换
从源数据库捕获更改并将数据从一个地方传输到另一个地方已经很困难了。然而,流动数据还存在另一个挑战:转换部分,这意味着过滤数据并将数据映射到 Redis 数据模型。

1)RDI 提供了一个选项来指定每个源表所需的所有过滤和转换步骤。用 RDI 术语来说,这称为作业;每个作业都是一个 YAML 文件。
数据转换管道

                      数据转换管道
过滤:

RDI 无需编码即可完成过滤,而不需要开发人员编写自定义代码。开发人员可以使用SQL 表达式或Jmespath 函数的声明式过滤器。RDI 附带了额外的自定义 Jmespath 函数,以方便作业创建者使用。

RDI 有几个级别的数据转换:
  • 基本转换: 这是由 RDI 引擎自动完成的。
  • 结构化: RDI 引擎有一种默认的结构方式,可以通过无代码转换的功能将其构造为哈希或JSON 。您可以选择转换键和字段,甚至重新计算这些字段中的值。
  • 去规范化: RDI 将源数据转换为 JSON 文档,其中文档中的父级详细信息被转换为 JSON 对象的映射。
故障排除:

RDI 包含一个跟踪工具,可帮助开发人员无需编写自定义代码,就可以创建复杂的数据管道并对其进行故障排除。这加快了流程并减少了所需的工作量和技能。 故障排除后,通过简单的部署命令即可修改管道,无需停机。

四、公开预览版中的附加功能:

  • 至少保证一次交付

  • Debezium 服务器和 RDI 的高可用性

  • 死信队列 (Dead Letter Queue, DLQ) 中的硬拒绝条目处理

  • 支持的源数据库:Oracle、Postgres、MySQL、MariaDB、Percona XtraDB、Microsoft SQL Server 和 Cassandra(包括 DataStax DSE)

  • 数据提取模式:初始快照和CDC(流更改)

  • 声明式转换:过滤条件、Redis 键模式、更改字段名称、添加字段、删除字段、嵌套

  • 支持的 Redis 数据类型:Hash、JSON、Set、Stream

  • 开发人员工具:RDI 命令行界面脚手架和跟踪命令

  • 操作员工具:RDI 命令行界面、Grafana 仪表板(通过 Prometheus 导出器进行指标)

五、什么情况下可以使用RDI ?

  • 应用数据来自关系型数据库,不可替换 。
  • 关系数据库可以适应数据写入的速度,但无法扩展和执行以满足读取查询的负载。从关系数据库中转移读取查询是必要的。
  • 缓存中的数据必须近乎实时地反映关系数据库中的数据,这一点至关重要。
  • 关系数据库的更改率为中高水平,批量插入更改不能满足要求。
  • 源数据库和Redis之间的数据映射需要一些数据操作。

六、Redis数据集成(RDI)的发展
RDI的目前版本是公开预览,以相反方向集成 Redis 的功能正在研究中:将对 Redis 数据的更改应用到下游数据库。

  • Write-behind: CDC 源是用户的 Redis 数据库,用户的目标是下游关系数据库或 NoSQL 数据库。此流程将让用户享受 Redis Enterprise 的实时写入和读取速度,同时保留应用程序生态系统和下游服务。
  • Write-through: 对 Redis 的每次写入也会应用于关系数据库。
  • 通读:如果发生缓存未命中,RDI 会自动从下游数据库获取丢失的数据,并将其作为键写回 Redis,以便将其返回给请求的应用程序。

七、如何开始使用 RDI?
RDI 目前仅适用于自我管理的 Redis Enterprise 集群。

  • 如果您是 Redis Enterprise 的现有客户,请下载 RDI CLI软件包并按照快速入门指南中的步骤操作。安装指南将引导您完成 Debezium 服务器的安装和配置。运行一些 RDI CLI 命令后,您的管道会将数据从源数据库转移到 Redis。
  • 如果您不是Redis Enterprise 的现有客户,则需要首先安装适用于 Kubernetes 的 Redis Enterprise Software。然后下载 RDI CLI 软件包并按照快速入门指南中的步骤操作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/99492.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机竞赛 目标检测-行人车辆检测流量计数

文章目录 前言1\. 目标检测概况1.1 什么是目标检测?1.2 发展阶段 2\. 行人检测2.1 行人检测简介2.2 行人检测技术难点2.3 行人检测实现效果2.4 关键代码-训练过程 最后 前言 🔥 优质竞赛项目系列,今天要分享的是 行人车辆目标检测计数系统 …

用合成数据训练车辆姿态估计神经网络

我们的客户希望开发一款应用程序,引导用户通过 AR 指南和自动照片拍摄来拍摄更高质量的汽车照片。 本文重点介绍构建汽车姿态估计组件的技术。 在应用程序中,用户被引导站在与汽车一定的角度和距离,以标准化的方式捕捉最好的照片。 当用户处于…

VR酒店虚拟仿真情景实训教学演示

在传统的酒店管理教学过程中,学生往往缺乏实践操作经验,难以将理论知识与实际工作相结合。而VR酒店虚拟仿真情景实训教学应用可以为学生提供一个逼真的、沉浸式的酒店管理环境,使学生能够在模拟实践中掌握酒店管理的各项技能。 VR酒店虚拟仿真…

pip 清华镜像

python -m pip install --upgrade pip pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pypi | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

dom-to-image库是如何将html转换成图片的

dom-to-image库可以帮你把dom节点转换为图片,它的核心原理很简单,就是利用svg的foreignObject标签能嵌入html的特性,然后通过img标签加载svg,最后再通过canvas绘制img实现导出,好了,本文到此结束。 另一个…

[NISACTF 2022]hardsql - quine注入

[NISACTF 2022]hardsql 一、思路分析二、解题方法 一、思路分析 题目描述:$password$_POST[passwd]; $sql"SELECT passwd FROM users WHERE usernamebilala and passwd$password;"; 从描述看出是quine注入,且用户名要是bilala 1、经测试&…

使用 TensorFlow 创建 DenseNet 121

一、说明 本篇示意DenseNet如何在tensorflow上实现,DenseNet与ResNet有类似的地方,都有层与层的“短路”方式,但两者对层的短路后处理有所不同,本文遵照原始论文的技术路线,完整复原了DenseNet的全部网络。 图1&#x…

Java @Override 注解

在代码中,你可能会看到大量的 Override 注解。 这个注解简单来说就是让编译器去读的,能够避免你在写代码的时候犯一些低级的拼写错误。 Java Override 注解用来指定方法重写(Override),只能修饰方法并且只能用于方法…

怎么将Linux上的文件上传到github上

文章目录 1. 先在window浏览器中创建一个存储项目的仓库2. 复制你的ssh下的地址1) 生成ssh密钥 : 在Linux虚拟机的终端中,运行以下命令生成ssh密钥2)将ssh密钥添加到github账号 : 运行以下命令来获取公钥内容: 3. 克隆GitHub存储库:在Linux虚拟机的终端中&#xff0…

leetcode42 接雨水

题目 给定 n 个非负整数表示每个宽度为 1 的柱子的高度图,计算按此排列的柱子,下雨之后能接多少雨水。 示例 输入:height [0,1,0,2,1,0,1,3,2,1,2,1] 输出:6 解释:上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表示的高…

Golang网络编程:即时通讯系统Instance Messaging System

系统基本架构 版本迭代 项目改造 无人机是client,我们是server,提供注册登入,场景选择等。信道模拟器是server,我们是client,我们向信道模拟器发送数据,等待信道模拟器计算结果,返回给无人机。…

使用ChatGPT和MindShow一分钟生成PPT模板

对于最近学校组织的实习答辩,由于时间太短了,而且小编也特别的忙,于是就用ChatGPT结合MindShow一分钟快速生成PPT,确实很实用。只要你跟着小编后面,你也可以快速制作出这个PPT,下面小编就来详细介绍一下&am…

联想M7216NWA一体机连接WiFi及手机添加打印机方法

联想M7216NWA一体机连接WiFi方法: 1、首先按打印机操作面板上的“功能键”;【用“”(上翻页)“-”(下翻页)来选择菜单的内容】 2、下翻页键找到并选择“网络”,然后“确认键”; 3…

自动驾驶技术的基础知识

自动驾驶技术是现代汽车工业中的一项革命性发展,它正在改变着我们对交通和出行的理解。本文将介绍自动驾驶技术的基础知识,包括其概念、历史发展、分类以及关键技术要素。 1. 自动驾驶概念 自动驾驶是一种先进的交通技术,它允许汽车在没有人…

Docker安装——Ubuntu (Jammy 22.04)

一、为什么要用 Ubuntu?(centos和ubuntu有什么区别) 使用lsb_release命令:lsb_release -a ,即可查看ubantu的版本,但是为什么要使用ubantu 呢? 区别:1、centos基于EHEL开发,而ubunt…

三十三、【进阶】索引的分类

1、索引的分类 (1)总分类 主键索引、唯一索引、常规索引、全文索引 (2)InnoDB存储引擎中的索引分类 2、 索引的选取规则(InnoDB存储引擎) 如果存在主键,主键索引就是聚集索引; 如果不存在主键&#xff…

最新 SpringCloud微服务技术栈实战教程 微服务保护 分布式事务 课后练习等

SpringCloud微服务技术栈实战教程,涵盖springcloud微服务架构Nacos配置中心分布式服务等 SpringCloud及SpringCloudAlibaba是目前最流行的微服务技术栈。但大家学习起来的感受就是组件很多,不知道该如何应用。这套《微服务实战课》从一个单体项目入手&am…

C++项目:仿mudou库one thread one loop式并发服务器实现

目录 1.实现目标 2.HTTP服务器 3.Reactor模型 3.1分类 4.功能模块划分: 4.1SERVER模块: 4.2HTTP协议模块: 5.简单的秒级定时任务实现 5.1Linux提供给我们的定时器 5.2时间轮思想: 6.正则库的简单使用 7.通用类型any类型的实现 8.日志宏的实现 9.缓冲区…

深度学习 图像分割 PSPNet 论文复现(训练 测试 可视化)

Table of Contents 一、PSPNet 介绍1、原理阐述2、论文解释3、网络模型 二、部署实现1、PASCAL VOC 20122、模型训练3、度量指标4、结果分析5、图像测试 一、PSPNet 介绍 PSPNet(Pyramid Scene Parsing Network)来自于CVPR2017的一篇文章,中文翻译为金字塔场景解析…

YOLOv7暴力涨点:Gold-YOLO,遥遥领先,超越所有YOLO | 华为诺亚NeurIPS23

💡💡💡本文独家改进:提出了全新的信息聚集-分发(Gather-and-Distribute Mechanism)GD机制,Gold-YOLO,替换yolov7 head部分 实现暴力涨点 Gold-YOLO | 亲测在多个数据集能够实现大幅涨点,适用各个场景的涨点 收录: YOLOv7高阶自研专栏介绍: http://t.csdnim…