DT时代下 数据库灾备的探索与实践

170余场主题峰会和分论坛完美呈现,上千位分享嘉宾、数万名创新创业导师齐聚一堂,刚刚结束的2018杭州云栖大会让云栖小镇又一次成为探索数字世界的中心。

随着DT时代的到来,企业对数据的依赖程度与日俱增,数据保护早已成为企业的一门必修课。只有拥有先知先觉的防范意识和充分的技术准备,才能“覆巢之下,亦有完卵”。在“企业级数据库最佳实践”专场,灾备相关议题备受关注。本文结合阿里巴巴数据库团队在会上的分享,将详细介绍如何使用数据库云产品组合,搭建符合自身企业发展阶段的灾备方案。

数据是企业重要的生产资料,一旦发生数据丢失,企业就会陷入困境:客户资料、技术文件、财务账目等客户、交易、生产数据可能被破坏得面目全非。概括起来,数据丢失分三个层次:

  • 逻辑错误:包括软件bug、病毒攻击、数据块被破坏等。
  • 物理损坏:包括服务器、磁盘损坏等。
  • 自然灾害:火灾、地震等自然灾害对数据中心的摧毁等。

为了应对数据丢失造成的损失,必须对数据进行灾备保护,并且企业信息化程度越高,相关的数据灾备恢复措施就越重要。

企业级数据库灾备体系

1.1 灾备定义
灾备是指容灾+备份:

  • 备份的定义:指用户为应用系统产生的重要数据(或者原有的重要数据信息)制作一份或者多份拷贝,以增强数据的安全。
  • 容灾的定义:指在相隔较远的两地(同城或者异地)建立两套或多套功能相同的IT系统,互相之间可以进行健康状态监视和功能切换。当一处系统因意外(天灾、人祸)停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。

1.2 灾备痛点 
(1)备份痛点

  • 备份失效
  • 恢复速度慢
  • 恢复有损
  • 异地备份成本高
  • 性价比低

(2)容灾痛点

  • 容灾方案单一,无法满足不同数据级别场景建设
  • 缺少容灾大盘能力,无法对容灾链路监控、故障快速识别
  • 灾备不具备巡检能力
  • 故障恢复成本高,数据校验、比对、订正难以决策
  • 多层容灾工具切换难以协同
  • 预案管控缺失,无法自动化运维

1.3 落地方案
企业级数据库灾备体系要以业务需求为导向,基于多种因素考量选择:RPO,RTO,成本,扩展性。还需要覆盖数据库灾备的各种需求:灾备环境搭建、灾备数据同步、灾备监控告警、灾备演练、灾备切换、数据校验及修复等。

企业级数据库灾备核心产品

阿里云产品经多轮迭代具备比较完善的灾备能力,使用以下核心产品可帮助企业应对不同场景及需求的数据库灾备方案设计。

  • DBS:Database Backup Service,是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护,包括企业数据中心、其他云厂商。DBS提供数据备份和操作恢复的整体方案,具备实时增量备份、精确到秒级的数据恢复能力。在数据库灾备解决方案中可使用阿里云DBS实现各数据库间的数据备份。
  • DTS:Data Transmission Service,是阿里云提供的一种支持多种数据源之间数据交互的数据流服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。在数据库灾备解决方案中,使用阿里云DTS可实现各数据库间的数据迁移与实时同步,从而为数据库灾备打好最重要的基础。
  • HDM:Hybrid Cloud Database Management,是混合云数据库管理平台,帮助企业打通混合云数据库架构,提供多环境统一管理、快速弹性、灾备切换的能力。对于混合云灾备场景下,使用阿里云HDM可便捷、快速的将本地IDC的数据同步至云上,并进行灾备切换演练,故障发生时可通过HDM进行灾备切换,保障数据库的可用性。
    在灾备场景下,建议可搭配阿里云其他产品,例如DRDS、OSS,这些产品经阿里内外部验证,均具有较高可靠性并可在灾备场景下灵活应用。

典型应用场景

3.1 实时备份
当用户对数据备份要求较高时,比如需要连续实时备份,且备份过程中不影响业务运行,此时可购置阿里云数据库备份DBS服务,实现数据库的热备份,DBS可实现数据实时增量备份、精确到秒级的数据恢复能力。解决方案架构示例如下:

架构设计说明:

• 关键部件部署:

  • 在用户本地部署有两套数据库:生产数据库和恢复库,分别用于生产数据的存储、故障后数据恢复。
  • 在阿里云的两个区域(例如:华南1、华北1)分别购置存储服务,例如OSS对象存储或者NAS文件存储。
  • 购置阿里云的DBS服务,用于用户本地数据库实时热备份至云上存储。

• 云下生产数据备份至云上:
(可通过以下两种方案中的任意一种将云下生产数据备份至云上)

  • 用户可在本地再部署一套存储,将生产数据先备份至本地IDC的存储,再通过本地IDC存储灾备拷贝至云上存储。
  • 用户本地的生产数据库与云上存储之间通过阿里云DBS,将生产数据库中的数据直接热备份至云上两个区域的存储中。

• 数据恢复:

  • 如果用户本地IDC的生产数据库发生故障,但本地IDC的存储运行正常,可通过本地IDC的 存储将数据恢复至本地IDC的恢复库。
  • 如果用户本地IDC的生产数据库和存储均发生故障,或没有部署本地存储,则可通过DBS将云上存储将数据恢复至本地恢复库。

• 架构特点:

  • 优点:技术要求高、一致性好,恢复时间短。
  • 缺点:RTO随着数据库是来大小而变化。
  • 应用场景:比较成熟的备份手段,适用于大部分的关系型数据库。

3.2 异地多活
无论弹性容灾上云、容灾双活/多活,还是两地三中心,用户都可以在企业级数据库灾备体系中找到解决方案,接下来以异地多活场景为例介绍解决方案。在用户业务多点写入场景下,如何具备数据级异地双活,如何支持一键切换至另一个机房,实现灵活的弹上弹下和未来的线性扩展。

部署架构

  • 应用配合进行单元化改造
  • 通过 DTS 实现两地/多地的数据库的双向同步,解决同城单点问题
  • 通过 HDM 实现双活/多活架构的监控和管理,并提供计划内/计划外切换的能力
  • 双数据中心支持读写分离,本地用户就近读取

新产品:数据库备份DBS

数据库备份DBS作为数据库上云备份通道,与对象存储OSS构建云数据库备份解决方案,仅需5分钟即可实现秒级RPO(Recovery Point Objective恢复点目标,通俗理解是当数据库故障时,允许丢失多长时间数据,RPO越小越好)的实时备份。

数据库备份DBS提供备份服务,在整个备份过程是无锁的,不会阻塞数据库上业务请求;用户可以选择整个实例备份,也可以选择只备份一张表;一旦发生误操作情况时,用户都可以通过DBS进行任意时间点恢复,将整个实例或一张表的数据恢复到误操作前1秒;DBS提供多种规格,可以满足几百MB到几百GB的数据库备份。

目前,数据库备份DBS提供的备份系统时刻被海量用户验证,产品不仅拥有实时备份、秒级RPO的能力,同时还具备表级恢复能力,帮助用户只恢复有价值的数据,RTO可降到分钟级。

值得一提的是,实时备份经历了历年双11的考验,接下来,数据库恢复DBS将会提供在线查询能力,用户无需等待数据恢复过程,备份任务完成后在查询窗口上可以通过SQL立刻查询备份数据,用户还可以将查询结果导出Excel、Word等通用格式,用于数据分析,也可以生成Insert、Replace语句,用于数据订正。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520869.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2019工作榜单:程序员吸金榜,AI排第一,这个我服!

先来看一个2019工作榜单:作为全球知名的招聘网站Indeed最近发布了一份2019年最佳工作榜单,公布了最有前景的行业和相应的岗位薪资:排名第一的是机器学习人工智能相关的岗位,从2015-2018岗位增加了3倍多,平均的年薪接近百万(98万)。…

node js fork php,Node.js中execFile,spawn,exec和fork简介

Node.js中execFile,spawn,exec和fork简介Node.js子流程child_process模块提供四种不同方法执行外部应用:所有这些都是异步,调用这些方法会返回一个对象,这对象是ChildProcess类的实例。1. execFile用于执行一个外部应用,应用退出后…

阿里云应用配置管理ACM发布,重新定义云上配置的存放方式

9月26日,阿里云宣布应用配置管理ACM产品正式商用,将重新定义云上配置的存放方式。 据了解,该产品具备亿级应用配置处理能力,将分布式架构下的应用配置管理智能化,极大的降低了在微服务、Devops、大数据等场景下配置管…

IDEA远程连接mysq数据库

#测试连接串 jdbc:mysql://localhost:3306/flowable-base?useUnicodetrue&characterEncodingutf8&zeroDateTimeBehaviorconvertToNull&useSSLtrue&serverTimezoneGMT%2B8

黑科技揭秘:网红“天空物联网飞艇”服务范围为何能突破30公里

2018杭州云栖大会的网红飞艇,搭载LoRaWAN网关,与地面网关一起组成上天入地的天空物联网服务,获得众多关注。其最主要的核心是Link WAN物联网络管理平台,提供了网关管理与设备快数接入云端,使得飞艇挂载网关十分容易。 …

雪花算法(snowflake) :分布式环境,生成全局唯一的订单号 | CSDN 博文精选

戳蓝字“CSDN云计算”关注我们哦!作者 | 琦彦 责编 | 阿秃转自 | CSDN 博客snowflake方案snowflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID。这种方案大致来说是一种以划分命名空间(UUID也算,由于比较…

RabbitMQ+haproxy+keeplived 高可用负载均衡高可用镜像集群队列_01

文章目录一、RabbitMQ 集群节点说明二、服务器hosts文件统一修改三、RabbitMQ 镜像集群队列搭建部署一、RabbitMQ 集群节点说明 服务器IPhostname节点说明端口管控台地址账号密码192.168.0.115mq-01rabbitmq master5672http://192.168.0.115:15672guestguest192.168.0.117mq-0…

vue click事件_Vue.js---实现前后端分离架构中前端页面搭建(二)

【Vue.js实现前后端分离架构中前端页面搭建】九、Vue的事件处理Vue的事件都是使用 v-on:事件类型 进行绑定。也可以使用事件类型进行操作。其中事件类型和之前学习jQuery中事件名称是一样。示例中都是以点击事件为例。1. 直接操作属性值代码示例中通过点击按钮对counter值加一。…

边缘计算的五个大坑,里面一定有你跳过的

戳蓝字“CSDN云计算”关注我们哦!作者 | 砍柴网责编 | 阿秃在规模和增速方面,美国市场调研公司CB Insights估算,到2023年全球边缘计算行业,整体市场容量有望达到340亿美元。Technavio估计,从2018年到2022年&#xff0…

黑科技揭秘:眼科大夫如何应用5G+8K完成远程会诊?

秋季苹果新品发布会带来了iPhone迄今最大的显示屏,超视网膜显示屏比以往的iPhone屏幕更加清晰绚丽。随着影像技术的不断发展,多种多样的信息元素,通过一块块屏幕与我们交互,不管是手机手屏还是电视,不管是液晶还是OLED…

基于TableStore的物联网元数据管理

背景 常见的企业级无线接入方案有两种,分别被称作廋AP和胖AP。瘦AP(ACAP)架构为比较传统的企业级无线接入方案,主要优点就是漫游体验好,但是AC宕机的话会导致所属的AP全部无法工作。对于大型的办公场所,漫…

BDTC 2019 | 七个开发者能干多大的事?​

2015年,马云带领阿里巴巴集团的高管拜访了位于芬兰游戏公司supercell这家公司开发出了《部落战争》、《皇室战争》、《海岛奇兵》等App端知名游戏图片来自多玩BBS社区但是,这么知名的游戏公司开发团队当时却不足7人!整个团队好像cell一样&…

Mac 神兵利器(三) 使用Intellij IDEA打造全栈IDE

前言 作为一个开发者,包括职业与业余,相信大家都在使用集成开发环境IDE。作为专业的开发者,相信大家都是Full Stack Developer,意味着我们的日常开发通常都会涉及多种编程语言比如Java、Python、Shell、Golang、大前端等&#xf…

阿里云与MongoDB达成战略合作,成“唯一”;苹果将推出三款5G版iPhone;谷歌正式推出 TensorFlow 企业版……...

戳蓝字“CSDN云计算”关注我们哦!嗨,大家好,重磅君带来的【云重磅】特别栏目,如期而至,每周五第一时间为大家带来重磅新闻。把握技术风向标,了解行业应用与实践,就交给我重磅君吧!重…

RabbitMQ 镜像集群队列_集群高可用篇_03

文章目录一、普通集群搭建1. 停止 全部 MQ服务节点2. 文件(.erlang.cookie)同步3. 组成集群操作3. slave 加入集群操作4. 查看集群状态5. 访问管控台界面二、配置镜像队列2.1. 镜像队列思路2.2. 策略执行2.3. 登录管控台查看配置的策略信息一、普通集群搭建 1. 停止 全部 MQ服…

MaxCompute Tunnel上传典型问题场景

数据问题 Q:使用Tunnel Java SDK上传数据,上传数据可以自动分配到各个分区吗? A:目前Tunnel是无法自动上传数据并自动分配到各个分区的:每一次上传只支持数据上传到一张表或表的一个分区,有分区的表一定要…

开箱即用的安全方案:MaxCompute数据安全方案介绍

MaxCompute 是一个支持多租户的统一大数据处理平台,不同的用户对数据安全需求不尽相同。为了满足不同租户对数据安全的灵活需求,MaxCompute 支持项目空间级别的安全配置,ProjectOwner 可以定制适合自己的外部账号支持和鉴权模型并且在某种程度…

RabbitMQ+haproxy+keeplived 高可用负载均衡+镜像集群模式_集成负载均衡组件 Ha-Proxy_02

服务器IPhostname节点说明端口管控台地址账号密码192.168.0.115mq-01rabbitmq master5672http://192.168.0.115:15672guestguest192.168.0.117mq-02rabbitmq slave5672http://192.168.0.117:15672guestguest192.168.0.118mq-03rabbitmq slave5672http://192.168.0.118:15672gue…

腾讯云连续三年登上KVM开源贡献榜,引领KVM技术标准!

近日在KVM社区最为重要和权威的大会KVM Forum上,2019年全球企业对KVM的贡献排名正式对外公布,腾讯云凭借本年度40个patch的贡献名列全球第七,连续三年成为国内唯一登榜的云计算服务商。 对此腾讯云虚拟化资深研发专家李万鹏介绍,腾…