多媒体信息化建设,动态数据中心,深入理解分布式系统

在这里插入图片描述

目录

    • 一、前言
    • 二、双活数据中心
    • 三、数据备份方式
    • 四、设计双活数据中心需要考虑的问题
      • 1、延迟和稳定性
      • 2、Quorum/ Tie-Breaker
      • 3、工作负载
    • 五、动态数据中心
    • 六、深入理解分布式系统
      • 1、内容介绍
      • 2、作者简介

大家好,我是哪吒。

文末送5本《深入理解分布式系统》

一、前言

去年的这个时候,某电信大楼发生火灾,数十层楼体燃烧剧烈,消防赶到后将火势扑灭,撤离及时,无人员伤亡。经初步侦察,现场为大厦外立面起火。为防止发生危险,大楼部分设备断电,据中国电信官方及用户反映,部分用户手机语音和短信功能受到影响,截止当晚12时仍未恢复。

电信大楼于2000年建成,建筑地上42层地下2层。大楼内含荷花园电信机房,是湖南最大的主干线接入点之一,此前资料显示,机房具备25G光纤直CHINANET骨干网,总机架数量约1000个。

事发前招标信息显示,该大厦消防设备超期运行,火灾报警系统等存在较大安全隐患。

我们公司恰好有一个项目涉及其中,甲方要求连夜通宵解决此问题,保证数据的安全性和完整性。白天开会设计方案、晚上通宵实现方案、再开会汇报技术调研成果,循环往复,最终定下了同城双活数据中心这一技术方案。

二、双活数据中心

双活数据中心同时对外提供业务生产服务的双活模式,两个数据中心是对等的、不分主从、并可同时部署业务,可极大的提高资源的利用率和系统的工作效率、性能。

数据中心双活又分为:同城双活、异地双活。

区别在于由于网速的限制,每100km所产生的数据延迟约为1ms。

出于灾备目的,一般都会建设2个(或多个)数据中心,一个是主数据中心用于承担用户的业务,一个是备份数据中心用于备份主数据中心的数据、配置、业务等。

充分利用资源,避免备用服务器常年闲置造成的资源浪费,双活数据中心的服务能力是双倍的;如果一个数据中心断了,另一个还在运行,请求可以直接全部切换到正在运行的中心,用户无感知。

三、数据备份方式

主备数据中心之间一般有热备、冷备、双活三种备份方式。

  1. 热备:只有主数据中心承担用户的业务,备数据中心对主数据中心进行实时的备份,主数据中心挂掉以后,备数据中心可以自动接管主数据中心的业务,用户的业务不会中断,所以也感觉不到数据中心的切换。
  2. 冷备:只有主数据中心承担用户的业务,备数据中心不会对主数据中心进行实时的备份,而是周期性的备份。如果主数据中心挂掉了,用户的业务就会中断。
  3. 双活:主备两个数据中心都同时承担用户的业务,主备两个数据中心互为备份,并且进行实时备份。一般来说,主数据中心的负载可能会多一些,比如分担6070%的业务,备数据中心只分担40%30%的业务。

传统主备模式是一个业务只在一个数据中心运行,企业结合灾备等级需求和业务需求,在备份中心部署了大量的备份服务器,但备份中心仅为该业务提供灾备服务,只有当灾难发生、生产数据中心瘫痪时,灾备中心的业务系统才启动这些服务器,造成备份中心服务器资源浪费。

在设计双活数据中心的时候,数据同步是一个重点、难点。如果同步效率达不到,会造成数据丢失;由于数据同步不及时,网络故障问题,会造成双活中心被分裂成两个独立的数据中心,用户无法判断两个中心的数据哪个是最新的,这种现象被定义为脑裂问题。

四、设计双活数据中心需要考虑的问题

1、延迟和稳定性

由于网速的限制,每100km所产生的数据延迟约为1ms,会对实际应用性能构成影响,特别是双数据中心数据交互密切的业务。

2、Quorum/ Tie-Breaker

为了解决双数据中心的脑裂问题,需要提供有效的Quorum/ Tie-Breaker方式来保证数据完整性。

注:Quorum 机制,是一种分布式系统中常用的,用来保证数据冗余和最终一致性的投票算法。

3、工作负载

如果增删改的操作比例越高,就会有越多的数据需要跨数据中心传送,不利于双活中心设计,此时要考虑双活系统可以承载的工作量阈值。

随着数据的增多,数据安全和隐私保护成为数据中心面临的重要挑战。数据中心需要采取更严格的安全措施,防止数据泄露、黑客攻击等问题,同时还需要满足各种合规要求。

五、动态数据中心

双活数据中心是一种两个或多个数据中心同时在线提供服务的数据中心架构。在这种架构下,两个数据中心是对等的,不分主从,并可同时部署业务,可极大地提高资源的利用率和系统的工作效率、性能。当其中一个数据中心发生故障时,另一个数据中心能接管所有的应用请求,其核心的建设目标就是要确保“数据零丢失”。双活数据中心通常需要在基础设施、中间件、应用程序各个层次进行配置,以确保数据在两个数据中心之间实时同步。

应用、中间件、数据库,一切都是双套的,虽然双活中心可以同时可以对外提供服务,但终究还是有些冗余,因为原本一个数据中心就可以完成全省的业务支撑。

“2023减员增效”成为了热点名词,双活数据中心成本确实有点高了,怎么解决?

答案是:动态数据中心。

动态数据中心是一种可以根据业务需求动态分配资源的数据中心解决方案。它可以根据业务需求弹性扩展或缩减资源,实现IT资源的最大化利用。动态数据中心通常提供自服务功能、资源管理和服务生命周期管理等,使用户可以根据需要弹性分配适当的应用配置,并支持动态扩展。动态数据中心的目标是提高数据中心的灵活性、可扩展性和效率,以满足企业的快速变化和发展需求。

双活数据中心需要在基础设施、中间件、应用程序各个层次进行配置,以确保数据在两个数据中心之间实时同步。而动态数据中心主要关注IT资源的动态分配和管理,降低管理复杂度和运营成本。

动态数据中心有助于简化基础架构配置、合并管理工具,并促进自动化和一致性的实现。通过基于模板的配置、自动化配置以及基础架构生命周期管理等功能。动态数据中心能够帮助IT 快速响应业务需求、提升数据中心效率,并且提高IT 服务的交付质量。

动态数据中心可以简化基础架构配置过程中复杂而繁琐的任务。它能够帮助IT 组织快速引入新的基础架构或快速重新配置现有基础架构。这可以大大加快新工作负载投入生产的速度或者现有工作负载的资源扩展。

六、深入理解分布式系统

在这里插入图片描述

1、内容介绍

京东购买链接:深入理解分布式系统

《深入理解分布式系统》主要讲解分布式系统常用的基础知识、算法和案例,经笔者对文献海洋中晦涩艰深的原理和算法进行提炼,辅以图示和代码,并结合实际经验进行分析总结而成。通过阅读本书,读者可以快速、轻松地掌握分布式系统的基本原理,以及Paxos或Raft共识算法,并通过典型的案例学习如何设计大型分布式系统。

《深入理解分布式系统》首先介绍什么是分布式系统、分布式系统带来的挑战,以及如何对分布式系统进行建模,这部分内容偏向概念性介绍。接着介绍了分布式数据的基础知识,包括数据分区技术、数据复制技术、CAP定理、一致性模型和隔离级别,尝试厘清一些十分容易混淆的术语,比如一致性、线性一致性、最终一致性和一致性算法等。本书还介绍了分布式系统的核心算法——Paxos和Raft算法,不仅补充了大量图示进行讲解,还从零实现了一个Paxos算法。此外,本书分析了常见的分布式事务,并讨论了分布式系统中的时间问题,整理了一些实际发生的编程陷阱。最后结合一些对工业界产生重大影响的论文或开源系统,学习前人在设计大型分布式系统时的思路、取舍和创新。

2、作者简介

唐伟志,曾任网易游戏、腾讯基础架构工程师。毕业后一直从事分布式系统相关工作,在知乎和公众号“多颗糖”上分享对分布式系统论文的解读和算法的讲解。开源爱好者、TiDB Reviewer和Kubernetes Contributor。

🏆哪吒多年工作总结:Java学习路线总结,搬砖工逆袭Java架构师

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/236076.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C/C++ BM1反转链表

文章目录 前言题目1.解决方案一1.1 思路阐述1.2 源码 2. 解决方案二2.1 思路阐述2.2 源码 总结 前言 这题是牛客网的BM1,主要涉及到链表的操作以及栈数据结构的使用。 题目 给定一个单链表的头结点pHead(该头节点是有值的,比如在下图,它的…

Flink cdc3.0同步实例(动态变更表结构、分库分表同步)

文章目录 前言准备flink环境docker构建mysql、doris环境数据准备 通过 FlinkCDC cli 提交任务整库同步同步变更路由变更路由表结构不一致无法同步 结尾 前言 最近Flink CDC 3.0发布, 不仅提供基础的数据同步能力。schema 变更自动同步、整库同步、分库分表等增强功…

论文笔记:Accurate Localization using LTE Signaling Data

1 intro 论文提出LTELoc,仅使用信令数据实现精准定位 信令数据已经包含在已在LTE系统中,因此这种方法几乎不需要数据获取成本仅使用TA(时序提前)和RSRP【这里单位是瓦】(参考信号接收功率) TA值对应于信号…

vue没有使用fetch报错 Uncaught (in promise) TypeError: Failed to fetch

出现下面的错误,主要也没有用谷歌浏览器什么和发起fetch请求,找了很久没有什么发现 POST https://www.google-analytics.com/mp/collect?measurement_idG-04CMS1PYS6&api_secretpRgvhB8VTii5eSmcTzVaOg net::ERR_BLOCKED_BY_CLIENT Uncaught (in pr…

获投1050万欧元!德国量子公司Kipu Quantum成功研发特定压缩算法

​(图片来源:网络) 近日,德国量子软件公司Kipu Quantum宣布成功完成种子轮融资,融资总额达1050万欧元(约合8000万人民币)。该初创公司目前已开发出运行高性能量子计算机所需的压缩算法。该算法…

windows安装、基本使用vim

标题:windows安装、基本使用vim 1.下载并安装GVIM 百度网盘链接 提取码:2apr 进入安装界面,如下,勾选 其它都是默认即可 参考; 2.在powershell中使用vim 参考blog:window10安装vim编辑器 安装好后&…

HTML+CSS做一个冰立方体时钟

文章目录 💕效果展示💕代码展示HTMLJS💕效果展示 💕代码展示 HTML <!DOCTYPE html> <html lang

双三次 Bezier 曲面

双三次 Bezier 曲面的定义 Bezier 曲面是由 Bezier 曲线扩展得到&#xff0c;它是两组正交的 Bezier 曲线控制点构造空间网格生成的曲面 p ( u , v ) ∑ i 0 3 ∑ j 0 3 P i , j B i , 3 ( u ) B j , 3 ( v ) , ( u , v ) ∈ [ 0 , 1 ] [ 0 , 1 ] \begin{equation} \bm{p}…

法线贴图实现衣服上皱褶特效

在线工具推荐&#xff1a; 3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.js AI自动纹理开发包 - YOLO 虚幻合成数据生成器 - 三维模型预览图生成器 - 3D模型语义搜索引擎 法线贴图在3D建模中扮演着重要的角色&#xff0c;它通过模拟表面的微…

c++内存池项目

文章目录 一、内存池介绍二、ThreadCache实现三、CentralCache实现四、PageCache实现五、回收内存六、大于256KB的内存申请与释放七、将new和delete换为定长内存池八、多线程环境下对比malloc进行基准测试九、使用基数树进行性能优化 一、内存池介绍 二、ThreadCache实现 下面…

springboot集成springdoc-openapi(模拟前端请求)

目录 描述---痛点 Springfox对比springdoc-openapi 1. 成熟度和维护性&#xff1a; 2. 依赖和配置&#xff1a; 3. 注解和使用方式&#xff1a; 4. 特性和扩展性&#xff1a; 应用目录结构 pom文件 新增测试controller StaffController YUserController 启动测试看下…

PHP HTTPoxy CGI 应用程序漏洞 CVE-2016-5385

HTTPoxy CGI 应用程序漏洞 CVE-2016-5385 已亲自复现 漏洞名称漏洞描述影响版本 漏洞复现环境搭建漏洞利用 修复建议 漏洞名称 漏洞描述 在Oracle Communications BRM 10.x/12.x&#xff08;云软件&#xff09;中发现漏洞。它已经被宣布为关键。此漏洞影响组件用户数据库的未…

Linux笔记---用户和权限管理基本命令介绍

&#x1f34e;个人博客&#xff1a;个人主页 &#x1f3c6;个人专栏&#xff1a;Linux学习 ⛳️ 功不唐捐&#xff0c;玉汝于成 目录 ​编辑 前言&#xff1a; 命令&#xff1a; whoami&#xff1a; passwd&#xff1a; useradd&#xff1a; userdel&#xff1a; chm…

华为交换配置OSPF与BFD联动

实验拓扑 组网需求 如图所示&#xff0c;SW1、SW2和SW3之间运行OSPF&#xff0c;SW1和SW2之间的交换机仅作透传功能。现在需要SW1和SW2能够快速感应它们之间的链路状态&#xff0c;当链路SW1-SW2发生故障时&#xff0c;业务能快速切换到备份链路SW1-SW3-SW2上 配置思路 采用…

文件的基本管理

目录 一、Linux系统目录结构和相对/绝对路径 &#xff08;一&#xff09;系统目录结构 &#xff08;二&#xff09;相对路径和绝对路径 1.绝对路径 2.相对路径 &#xff08;三&#xff09;通配符的作用 二、创建、复制、删除文件&#xff0c;rm -rf /意外事故 &#xf…

说说对React Hooks的理解?解决了什么问题?

面试官&#xff1a;说说对React Hooks的理解&#xff1f;解决了什么问题&#xff1f; 一、是什么 Hook 是 React 16.8 的新增特性。它可以让你在不编写 class 的情况下使用 state 以及其他的 React 特性 至于为什么引入hook&#xff0c;官方给出的动机是解决长时间使用和维护…

山景DU561—32位高性能音频处理器(DSP)芯片

音频处理可以更好地捕捉和处理声音和音乐&#xff1b;而DSP音频处理芯片是一种利用数字信号处理技术进行音频处理的专用芯片&#xff1b;可用于多种应用&#xff0c;从音乐拾音到复杂的音频信号处理&#xff0c;和声音增强。 由工采网代理的山景DU561是一款集成多种音效算法高…

08、基于LunarLander登陆器的DDQN强化学习(含PYTHON工程)

08、基于LunarLander登陆器的DDQN强化学习&#xff08;含PYTHON工程&#xff09; LunarLander复现&#xff1a; 07、基于LunarLander登陆器的DQN强化学习案例&#xff08;含PYTHON工程&#xff09; 08、基于LunarLander登陆器的DDQN强化学习&#xff08;含PYTHON工程&#xf…

DTC营销新模式,创新商业引领裂变营销新潮流的玩法!

DTC营销新模式&#xff0c;创新商业引领裂变营销新潮流的玩法&#xff01; 随着市场竞争的加剧&#xff0c;企业寻求创新的营销模式以突破困境&#xff0c;脱颖而出。其中&#xff0c;DTC&#xff08;Direct-to-Consumer&#xff0c;直接面向消费者&#xff09;营销新模式应运…

CentOS 7 制作openssh 9.6 rpm包更新修复安全漏洞 —— 筑梦之路

2023年12月18日 openssh 发布新版9.6p1&#xff0c;详细内容阅读OpenSSH: Release Notes 背景说明 之前也写过多篇制作openssh rpm包的文章&#xff0c;为何要重新来写一篇制作openssh 9.6版本的&#xff1f; openssh 9.6 rpm包制作和之前存在区别&#xff0c;对于CentOS 7来…