面试官:给我说一下你理解的分布式架构

转载自  面试官:给我说一下你理解的分布式架构

# 什么是分布式架构

分布式系统(distributed system) 是建立在网络之上的软件系统。

内聚性:是指每一个数据库分布节点高度自治,有本地的数据库管理系统。

透明性:是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。

在分布式数据系统中,用户感觉不数据是分布的,即用户不须知道关系是否分割,有无副本,数据存在于那个站点以及事物在哪个站点上执行。

简单来说,在一个分布式系统中,一组独立的计算机展现给用户的是一个统一的整体,就好像是一个系统似的。

 

分布式系统作为一个整体对用户提供服务,而整个系统的内部的协作对用户来说是透明的,用户就像是指使用一个Mysql一样,如:分布式Mysql中间件Mycat ,来处理大并发大数据量的构架。

 

# 分布式架构的应用

1、分布式文件系统

例如:出名的有 Hadoop 的 HDFS, 还有 google的 GFS , 淘宝的 TFS 等

2、分布式缓存系统

例如:memcache , hbase, mongdb 等

3、分布式数据库

例如:mysql, mariadb, postgreSql 等

4、分布式webService

5、分布式计算

举例

以分布式MySQL数据库中间件mycat 为例。   

MySQL在现在电商以及互联网公司的应用非常多,一个是因为他的免费开源,另外一个原因是因为分布式系统的水平可扩展性,随着移动互联网用户的暴增,互联网公司,像淘宝,天猫,唯品会等。

电商都采用分布式系统应对用户的高并发量以及大数据量的存储。而在Mycat的商业案例中,有对中国移动的账单结算项目中,应用实时处理高峰期每天2亿的数据量,在对物联网的项目中,实现处理高达26亿的数据量,并提供实时查询的接口。

通过对MyCat的学习,加深分布式系统架构的理解,以及分布式相关的技术,分布式一致性ZooKeeper服务, 高可用HAProxy/keepalived等相关应用。

  • 集群与分布式

  • 负载均衡

  • 分布式相关的高可用、容灾等名词解释

  • Mycat中间件学习

 

# 资源推荐

1、大型分布式网站架构设计与实践

2、大型网站技术架构:核心原理与案例分析

3、大型网站系统与Java中间件实践

4、分布式Java应用:基础与实践

 

# 分布式架构的演进

1、初始阶段架构 

 

特征:应用程序,数据库,文件等所有资源都放在一台服务器上。

 

2、应用服务和数据服务以及文件服务分离

说明:好景不长,发现随着系统访问量的再度增加,webserver机器的压力在高峰期会上升到比较高,这个时候开始考虑增加一台webserver。

特征:应用程序、数据库、文件分别部署在独立的资源上。

 

3、使用缓存改善性能

说明:系统访问特点遵循二八定律,即80%的业务访问集中在20%的数据上。缓存分为本地缓存和远程分布式缓存,本地缓存访问速度更快但缓存数据量有限,同时存在与应用程序争用内存的情况。

特征:数据库中访问较集中的一小部分数据存储在缓存服务器中,减少数据库的访问次数,降低数据库的访问压力。

4、使用应用服务器集群

 

说明:在做完分库分表这些工作后,数据库上的压力已经降到比较低了,又开始过着每天看着访问量暴增的幸福生活了。突然有一天,发现系统的访问又开始有变慢的趋势了,这个时候首先查看数据库,压力一切正常,之后查看webserver,发现apache阻塞了很多的请求,而应用服务器对每个请求也是比较快的,看来是请求数太高导致需要排队等待,响应速度变慢。

特征:多台服务器通过负载均衡同时向外部提供服务,解决单台服务器处理能力和存储空间上限的问题。

描述:使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源,提升系统的并发处理能力,使得服务器的负载压力不再成为整个系统的瓶颈。

 

5、数据库读写分离

 

说明:享受了一段时间的系统访问量高速增长的幸福后,发现系统又开始变慢了,这次又是什么状况呢,经过查找,发现数据库写入、更新的这些操作的部分数据库连接的资源竞争非常激烈,导致了系统变慢

特征:多台服务器通过负载均衡同时向外部提供服务,解决单台服务器处理能力和存储空间上限的问题。

描述:使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源,使得服务器的负载压力不在成为整个系统的瓶颈。

 

6、反向代理和CDN加速

 

特征:采用CDN和反向代理加快系统的访问速度。

描述:为了应付复杂的网络环境和不同地区用户的访问,通过CDN和反向代理加快用户访问的速度,同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存。

 

7、“分布式文件”系统 和 “分布式数据库”

 

说明:随着系统的不断运行,数据量开始大幅度增长,这个时候发现分库后查询仍然会有些慢,于是按照分库的思想开始做分表的工作。

特征:数据库采用分布式数据库,文件系统采用分布式文件系统。

描述:任何强大的单一服务器都满足不了大型系统持续增长的业务需求,数据库读写分离随着业务的发展最终也将无法满足需求,需要使用分布式数据库及分布式文件系统来支撑。分布式数据库是系统数据库拆分的最后方法,只有在单表数据规模非常庞大的时候才使用,更常用的数据库拆分手段是业务分库,将不同的业务数据库部署在不同的物理服务器上。

 

8、使用NoSQL和搜索引擎

 

特征:系统引入NoSQL数据库及搜索引擎。

描述:随着业务越来越复杂,对数据存储和检索的需求也越来越复杂,系统需要采用一些非关系型数据库如NoSQL和分数据库查询技术如搜索引擎。应用服务器通过统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。

 

9、业务拆分

特征:系统上按照业务进行拆分改造,应用服务器按照业务区分进行分别部署。

描述:为了应对日益复杂的业务场景,通常使用分而治之的手段将整个系统业务分成不同的产品线,应用之间通过超链接建立关系,也可以通过消息队列进行数据分发,当然更多的还是通过访问同一个数据存储系统来构成一个关联的完整系统。

纵向拆分:将一个大应用拆分为多个小应用,如果新业务较为独立,那么就直接将其设计部署为一个独立的Web应用系统 纵向拆分相对较为简单,通过梳理业务,将较少相关的业务剥离即可。

横向拆分:将复用的业务拆分出来,独立部署为分布式服务,新增业务只需要调用这些分布式服务 横向拆分需要识别可复用的业务,设计服务接口,规范服务依赖关系。

 

10、分布式服务

 

特征:公共的应用模块被提取出来,部署在分布式服务器上供应用服务器调用。

描述:随着业务越拆越小,应用系统整体复杂程度呈指数级上升,由于所有应用要和所有数据库系统连接,最终导致数据库连接资源不足,拒绝服务。

 

# 分布式服务应用会面临哪些问题?

  1. 当服务越来越多时,服务URL配置管理变得非常困难,F5硬件负载均衡器的单点压力也越来越大。

  2. 当进一步发展,服务间依赖关系变得错踪复杂,甚至分不清哪个应用要在哪个应用之前启动,架构师都不能完整的描述应用的架构关系。

  3. 接着,服务的调用量越来越大,服务的容量问题就暴露出来,这个服务需要多少机器支撑?什么时候该加机器?

  4. 服务多了,沟通成本也开始上升,调某个服务失败该找谁?服务的参数都有什么约定? 

  5. 一个服务有多个业务消费者,如何确保服务质量?

  6. 随着服务的不停升级,总有些意想不到的事发生,比如cache写错了导致内存溢出,故障不可避免,每次核心服务一挂,影响一大片,人心慌慌,如何控制故障的影响面?服务是否可以功能降级?或者资源劣化? 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/323382.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

c语言程序设计--图书管理系统

这个原本是c语言程序设计书里面的习题,老师布置的作业,既然写好了,就在网上分享下,相信肯定有很多和我一样使用的是这本教材,大家可以借鉴下答案,在dev c上运行是没有任何错误的。文末已经贴了源码&#xf…

Access denied for user ‘root‘ @‘123.233.244.218‘(using password:YES)的解决方法

大家好,我是雄雄,欢迎关注微信公众号:雄雄的小课堂。 前言 在我们新买了个服务器之后,数据库我觉得是比不可少的吧,任何一个项目,只要是动态的,都需要数据做数据的服务于支撑,目前我…

nssl1192-加密【字符串hash】

正题 题目大意 对于每个字母都有一个加密后的字母对应。 然后给一段字母其中包括密文和密文对应的原文的一部分(也有可能没有原文),求一段最短的密文加原文。 解题思路 枚举密文和原文分界处。然后用字符串hash判断改变后的密文和后段原文是否相等。 code #inclu…

初探SQL Server 2017 on Docker@macOS

编者语:假期到了最后一天,或者你人在旅途,或者你睡了8天,而我在家修炼了几天,完成了一堆好玩的,慢慢和大家分享下。 9月27日SQL Server 2017 正式发布,看点一堆,而这次发布不仅有传统…

阿里面试,为什么Kafka不支持读写分离

转载自 阿里面试,为什么Kafka不支持读写分离 为什么数据库、redis都支持了读写分离功能,而kafka却没有? 厮大也是狠人,直接打开源码从头开始讲,我一看这情况不对,按照这进度得讲到天黑了,蹭着…

手机号、邮箱、用户名均可登录系统的实现方式

大家好,我是雄雄,欢迎关注微信公众号:雄雄的小课堂 前言 现在是2022年4月28日13:41:29! 需求:用户可以通过手机号、邮箱来注册我们的系统,用户完成之后,可以去完善自己的个人信息,…

.Net 内存对象分析

在生产环境中,通过运行日志我们会发现一些异常问题,此时,我们不能直接拿VS远程到服务器上调试,同时日志输出的信息无法百分百反映内存中对象的状态,比如说我们想查看进程中所有的Socket连接状态、服务路由信息等等。 即…

百度开源的分布式唯一ID生成器UidGenerator,解决了时钟回拨问题

转载自 百度开源的分布式唯一ID生成器UidGenerator,解决了时钟回拨问题 UidGenerator是百度开源的Java语言实现,基于Snowflake算法的唯一ID生成器。而且,它非常适合虚拟环境,比如:Docker。另外,它通过消…

nssl1193-地主【dp】

正题 题目大意 一个2∗n2*n2∗n的矩形,求分歌成k块的方案数。 解题思路 我们用fi,j,0/1f_{i,j,0/1}fi,j,0/1​表示前i列,分成j块,第i列是相同一块还是分开的一块。 然后我们分析 (不同颜色表示不同联通块)(字型体汇) 然后推出方程 (f[i][…

MyBatis-generator使用,Example缺少分页问题解决

一、分页问题 MyBatis自动生成代码没有分页功能。 如: public class User {private Integer userId;private String name;public Integer getUserId() {return userId;}public void setUserId(Integer userId) {this.userId userId;}public String getName() {r…

调试 ASP.NET Core 2.0 源代码

在Visual Studio 2017中可以通过符号以及源链接,非常方便对 ASP.NET Core 2.0中源代码进行调试。在这篇文章中,我们将重点介绍如何使用源链接对ASP.NET Core源进行调试。 什么是源链接? 和我一样,您可能已经注意到在编译代码时&am…

html新知

文章目录[x]开门大吉轮播样式账户密码获取回车发送命令(按键)计时器通过按钮实现清屏选项卡(轮播图原型)阶乘密码一致登录导航栏(新学的,,,,,其实就是简单的h…

nssl1196-摘果子【树形依赖背包,dp】

正题 题目大意 有n个东西,每个东西有价值和价格,然后要求一个价格上限,和除了第一个东西以外都有一个买这个之前必须要买的东西。 求最大价值 解题思路 我们考虑之前的树形背包 然后发现时间复杂度O(n3)O(n^3)O(n3),之后我们考虑…

JavaFX8 modena样式(css)源码

转载自 JavaFX8 modena样式(css)源码 /* Modena This is the second generation theme for JavaFX after Caspian. */ /* * Copyright (c) 2009, 2013, Oracle and/or its affiliates. All rights reserved. * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HE…

如何将每日新闻添加到自己博客中,发送到微信群中

大家好,我是雄雄。 前言 最近新整了个博客网站,同事在gitee上找的,还不错,gitee上的地址在这里:拾壹博客管理系统。 别人的业务,再好也有不满足自己的地方,所以我就拉下来源码看了看&#xff0…

烦躁、感悟

也不知道怎么回事,经历了很多纠结之后,感觉自己现在学的东西以后可能会都用不到。很烦恼,学了有什么用是吧?一个人学真的很孤独,连跟人家聊天都聊不到一起去,你跟行外人聊ajax聊bootstrap的神奇&#xff0c…

nssl1195-健美猫【???】

正题 题目大意 给出序列s(s∈[1,n])(s\in [1,n])(s∈[1,n]),将序列旋转 旋转操作 sisi1(i∈[1,n−1])sns1\begin{matrix} \\s_is_{i1}(i\in [1,n-1]) \\ s_ns_1 \end{matrix}si​si1​(i∈[1,n−1])sn​s1​​ 然后要求 ∑i1nsi−i\sum _{i1}^ns_i-ii1∑n​si​−i…

Hack for Cloud Beginner微软黑客松大赛

在这美丽的西子湖畔,我们欢迎各行各业的开发者参与此次Hack for Cloud Beginner微软黑客松大赛。我们致力于为开发者们提供在技术、社区领域中的交流平台,重在参与,意于创新。 此次黑客松大赛将于10月22日在中国杭州拉开帷幕,参与…

Asp.Net Core 2.0 多角色权限认证

在使用 WebForm 技术开发网站的时候,微软就提供了 Form 身份认证,这使得登录认证简单了许多,不同于 WebForm 以及后来的 Asp.Net Mvc,Asp.Net Core 中的身份认证与之前相比使用更加便捷,本文介绍 Asp.Net Core 2.0 多角…

html近期所学

导航栏&#xff08;新学的&#xff0c;&#xff0c;&#xff0c;&#xff0c;&#xff0c;其实就是简单的href&#xff09; css 开门大吉 轮播样式 js css js1 js1 js1 js1 js1 js7 首先是css 开门大吉 改只需其中的gif <html><head><style>section{width…