【公测中】阿里云发布国内首个大数据双活容灾服务,满足高要求大数据灾备场景

在6月上旬举行的云栖大会上海峰会上,阿里云发布了国内首个大数据集群双活容灾产品-混合云容灾服务下的混合云大数据容灾服务(HDR for Big Data, 简称 HDR-BD),并已经在7月份开始邀测。HDR-BD采用业界领先的数据双向实时复制技术,可以实现Hadoop集群双活和准0 RPO容灾,为大数据灾备制定了全新的标准。

常见Hadoop灾备技术的挑战

当前比较常见的Hadoop集群灾备方式是用distcp将数据定期复制到一个备用集群做容灾用途,或者将数据复制到只读集群、二级存储作为多恢复点的备份。这些方案都有明显弱点。

RPO和RTO是衡量灾备方案的两个重要指标,RPO-恢复点目标,决定了丢失多少数据,RTO-恢复时间目标,决定了业务中断了多长时间。由于传统的Hadoop集群灾备方式使用的是distcp来做容灾,也就意味着数据复制不是实时的,因此用户必须承受至少小时级到天级的RPO。并且主站宕机后,将只读集群或二级存储中的数据恢复出来会占用大量时间,而拉起standby集群重新启动业务依然是一个耗时的操作。因此,传统的Hadoop集群灾备方式在RPO和RTO方面都有较大挑战。

除此之外,由于灾备集群平时处于备用状态,不能用于运行业务,对于用户来说也属于资源浪费。

以上这些问题长期困扰着Hadoop集群的用户和管理员们,如何突破RPO和RTO瓶颈,大数据集群的灾备领域亟需一种全新的技术来彻底解决目前的困境。

HDR- BD此次带来的双向实时复制技术可以在两个Hadoop集群之间建立双活架构,RPO接近0;RTO因为数据随时可读写而极大压缩;双活架构可以让两个集群运行不同的应用,避免资源浪费。这些特性将Hadoop灾备标准提高到了一个全新的高度,为Hadoop用户带来了极高的价值。

HDR-BD引入大数据双向复制技术,满足高要求的大数据灾备场景

阿里云此次推出的Hadoop双活容灾方案HDR-BD引入了业界领先的大数据双向复制技术,结合强大的公共云基础设施,可以满足极高要求的大数据灾备场景,为企业Hadoop集群数据保护提供了全新的选择。
HDR-BD的优势在于:

  1. 极低RPO:数据的实施复制决定了每一个写操作都会实时复制到配对集群,RPO几乎为0
  2. 极高资源利用率:数据双向复制确保两个集群共享一份数据但运行不同应用,不会出现一个集群必须处于只读会备用状态的问题,计算资源可以充分利用
  3. 运维复杂度极低: HDR-BD实现了数据的全自动实时双向复制,无需特定时间窗口,也无需担心对业务的影响

1

在自建数据中心和阿里云之间部署HDR-BD服务器配对,用户就可以将自建Hadoop集群与阿里云无缝集成,充分利用阿里云EMR和OSS建立极为高效的Hadoop灾备,迁移系统。HDR-BD可以满足的核心场景包括

  1. 近0 RPO Hadoop云容灾
    将自建Hadoop集群的数据实时复制到阿里云EMR集群,实现接近0 RPO的Hadoop集群容灾。
  2. Hadoop集群与阿里云EMR集群双活
    在自建Hadoop集群和阿里云EMR集群之间建立数据双向复制。两个集群共享一份数据,但是运行不同的应用,实现集群双活,达到资源的最大化利用。
  3. Hadoop数据实时备份,迁移上云
    云上HDR-BD服务器可以直连至阿里云对象存储OSS。在无需EMR集群的情况下,HDR for Big Data可以将Hadoop数据实时复制到阿里云OSS,实现接近0 RPO的云备份;同时这个机制也可以作为Hadoop数据迁移上云的理想方案。利用这个机制做Hadoop集群迁移上云,在迁移过程中无需启动EMR集群;同时迁移过程无需复杂定制化脚本开发或者复杂的业务停机规划。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/521258.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux CentOS7 最小化安装环境静默安装Oracle11GR2数据库(安装操作系统环境_01)

文章目录最小化安装 linux CentOS7我使用的镜像包:CentOS-7-x86_64-DVD-1810.iso虚拟机就创建好了 通过方向键选择:install centos 7 回车 直接点击:continue 这里采用自动分区,手动自定义分区请参考 网络设置方式有2种 第一种…

阿里云发布vSphere虚拟机备份服务 ,网络带宽有限条件下依然能有效保护数据

在6月上旬举行的云栖大会上海峰会上,阿里云发布了vSphere虚拟机备份上云服务(HBR for vSphere),并已经在7月份开始邀测。利用混合云备份服务可以将虚拟机镜像备份上云,避免了传统备份方案复杂的软件部署,存…

行!人工智能玩大了!程序员:太扯,阴谋!你怎么看?

人工智能真的玩大了吗?人工智能行业的人才真的“爆发了?”AI程序员究竟怎么样?A与B 薪酬与前景程序员与远方2017年~2018年,是人工智能大火的时候。你会发现,跟朋友聊天不谈人工智能,聊天的bigger都上不去。…

spss 22 0统计分析从入门到精通_「转需」20+统计分析软件使用工具包,一次全搞定...

数据越来越多,使用统计软件对数据进行处理不失为一个减少工作量的好办法。在学习统计时,又怎么能少的了各种分析数据的助手呢?情报站为大家准备了常用统计软件使用工具包,各项常用统计软件课程一次全到手!(领取方式见评…

Pandas/networkx图分析简单入门

摘要: 本文是一篇pandas/networkx图分析入门,对所举的欺诈检测用例进行了简单的图论分析,便于可视化及操作。 对于图论而言,大家或多或少有些了解,数学专业或计算机相关专业的读者可能对其更加清楚。图论中的图像是由若…

linux CentOS7最小化安装环境静默安装Oracle11GR2数据库(安装常用工具_02)

接上一篇:linux CentOS7 最小化安装环境静默安装Oracle11GR2数据库(安装操作系统环境_01) 安装wget yum install -y wget安装vim yum install -y vim-enhanced或者 yum -y install vim安装unzip yum install zip unzip安装 lrzsz yum -y…

如何在学习机器学习时学习数学?

摘要: 机器学习到底需要怎么样的数学基础?高段位机器学习如何练成?来瞧瞧。 到目前为止,我们都还不完全清楚开始机器学习需要什么样的数学水平,特别是那些没有在学校学习数学或统计学的人。 在这篇文章中&#xff0c…

RPA机器人来了, 你的饭碗还好吗?

摘要: RPA正在席卷全球各行各业,从金融到医疗再到零售。多种重复有规律的工作流程正在被代替。从上世纪90年代到现在,RPA经历了怎样的发展历程,目前又是怎么样的现状呢? RPA,正在席卷全球 这是一个平常的星…

linux CentOS7最小化安装环境静默安装Oracle11GR2数据库(安装依赖包_03)

接上一篇:linux CentOS7最小化安装环境静默安装Oracle11GR2数据库(安装常用工具_02) 安装Oracle11GR2所需要的依赖包 有高手写成了这样: yum -y install gcc gcc-c make binutils compat-libstdc-33 elfutils-libelf elfutils-libelf-devel …

机器学习算法概述:随机森林逻辑回归

摘要: 机器学习算法入门介绍:随机森林与逻辑回归! 随机森林是用于分类和回归的监督式集成学习模型。为了使整体性能更好,集成学习模型聚合了多个机器学习模型。因为每个模型单独使用时性能表现的不是很好,但如果放在一…

【终于等到你】7种策略解除云风险警报

戳蓝字“CSDN云计算”关注我们哦!作者 | Bruce Harpham转自 | INSIDER责编 | 阿秃云服务时代已经来临,且企业也正在积极的拥抱云技术。之前的云服务仅限于简单的存储或者联系人管理,而现在,像ERP这样的企业核心服务也开…

linux CentOS7最小化安装环境静默安装Oracle11GR2数据库(oracle基础配置_04)

接上一篇:linux CentOS7最小化安装环境静默安装Oracle11GR2数据库(安装依赖包_03) 创建用户 组 及文件夹 创建用户组:groupadd oinstall 创建用户组:groupadd dba 创建用户并添加到用户组:useradd -g oinst…

HTTPS时代已来,你做好准备了吗?

摘要: 全站HTTPS时代的到来,这也是最近越来越多的网站上HTTPS和更换证书的原因。那么究竟什么是HTTPS?它为什么会提升安全系数?CDN HTTPS又将如何做到安全性与性能同时提升?作为用户,又如何快速便捷的进行部…

专访阿里视频云叔度:一场技术人的自我修行

摘要: 千年之后的2018年,“玄奘之路”BC连14位同伴在这段自我修行的路程中沿着大师昔日的足迹徒步前行,对极致的追求促使他们努力挑战生命的每个不可能。其中,最让人感动的是一个打着点滴行进的身影,他在遭遇右腿受伤、…

spring cloud gateway 网关_微服务网关Spring Cloud Gateway全搞定

一、微服务网关Spring Cloud Gateway1.1 导引文中内容包含:微服务网关限流10万QPS、跨域、过滤器、令牌桶算法。在构建微服务系统中,必不可少的技术就是网关了,从早期的Zuul,到现在的Spring Cloud Gateway,网关我们用的…

这个耳机一点不输千元级的AirPods

你如果问我:生活中你觉得必不可少的一件电子产品是什么?那么我会毫不犹豫的回答你:是耳机!出门忘带耳机是绝对不能忍听不听没关系,但是有它比较安心我觉得生活中不仅是我很多人都对耳机有一种依赖因为很多人都喜欢音乐…

linux CentOS7最小化安装环境静默安装Oracle11GR2数据库(上传安装包并解压_05)

接上一篇:linux CentOS7最小化安装环境静默安装Oracle11GR2数据库(oracle基础配置_04) 静默安装Oracle11GR2数据库上传数据库安装包并解压 按提示选择文件,添加确定;开始上传; 完成 创建一个目录存放安装…

mysql一些基本sql操作_MySql数据库的一些基本操作---------------SQL语法

MySql数据库是比较常用的关系型数据库,操作用的是sql语句,下面来说一说MySql的一些基本操作MySql数据库是一种C/S型的模式,即客户端/服务器端,对应到具体应用上,便是bin目录下的mysql.exe和mysqld.exe,mysq…

阿里云商品评价解析功能示例解析

近年来,电商发展的如火如荼,从以淘宝为首的网购零售平台再到垂直的生鲜类等电商,中国电商市场正持续较快地增长。据消息称,手机淘宝DAU在6月18日达到2.6亿的峰值,并且从去年开始,阿里电商平台推出促进消费者…

逻辑回归预测事件发生的概率_通过逻辑回归,对信用卡申请数据使用卡方分箱法预测违约率建模...

一、 建模步骤(1)从数据中衍生特征(2)对类别型变量和数值型变量进行补缺(3)基于卡方分箱法对变量进行分箱(4)WOE编码后的单变量分析与多变量分析(5)应用逻辑回归模型(6)尺度化(7)模型预测能力二、代码import pandas as pdimport datetimeimport collectionsimport numpy as npi…