服务端高并发分布式结构进阶之路

序言

  • 在技术求知的旅途中,鉴于多数读者缺乏在中大型系统实践中的亲身体验,难以从宏观角度把握某些概念,因此,本文特选取“电子商务应用”作为实例,详细阐述从百级至千万级并发场景下服务端架构的逐步演变历程。同时,将逐一列出每个演进阶段所涉及的关键技术,旨在为大家构建一个关于架构演进的全面认知框架,以便大家在后续的深入学习中能够拥有更为广阔的视野和坚实的基础。

目录

 (一)常见概念

1.1 基本概念

1.1.1 应用(Application)/系统(System)

1.1.2 模块(Module)/组件(Component)

1.1.3 分布式(Distributed)

1.1.4 集群(Cluster)

1.1.5 主(Master)/从(Slave)

1.1.6 中间件(Middleware)

1.2 评价指标(Metric)

1.2.1 可用性(Availability)

1.2.2 响应时长(ResponseTimeRT)

1.2.3 吞吐(Throughput)vs并发(Concurrent)

(二)架构演进

2.1 单机架构

2.2 应用数据分离架构

2.3 应用服务集群架构

2.4 读写分离/主从分离架构 

2.5 引入缓存⸺冷热分离架构

2.6 垂直分库 

2.7 业务拆分⸺微服务

(三)总结 


 (一)常见概念

 在正式引入架构演进之前,为避免大家对架构中的概念完全不了解导致低效沟通,优先对其中⼀ 些比较重要的概念做前置介绍:

1.1 基本概念

1.1.1 应用(Application)/系统(System)

为了实现一系列服务的功能,可能需要开发一个程序或是多个相互协作的程序集合。以日常生活中的例子来类比:就像是为了达成一个目标,而组建的一个单独个体或者一群彼此配合的人员所形成的团队。


1.1.2 模块(Module)/组件(Component)

当应用程序变得相当复杂时,为了明确划分职责,我们会把那些职责明确且内部联系紧密的部分提取出来,形成抽象概念,以便于理解和管理。用生活中的实例来比喻:就像在军队中,为了攻占某个据点,会将士兵划分为不同的专业小组,如突击小组、爆破小组、掩护小组和通信小组等。


1.1.3 分布式(Distributed)

当一个系统的多个模块被分别部署在不同的服务器上运行时,这样的系统就被称为分布式系统。例如,Web服务器与数据库服务器各自独立运行在不同的服务器上,或者多台Web服务器也被分别部署在各自独立的服务器上。用生活中的实例来比喻:为了更有效地满足实际需求,原本在同一办公地点工作的一个小组被分散到多个城市的不同工作地点,通过远程协作来完成目标。这些分散在不同地点的模块之间的通信,基本上需要依赖网络支持来实现。


1.1.4 集群(Cluster)

部署在多台服务器上,旨在实现特定目标的单个或一组特定组件的集合,整体上被称为集群。例如,多个MySQL实例运行在不同的服务器上,共同提供数据库服务,这样的组合可以被称为一个数据库集群。用生活中的实例来比喻:为了达成攻克防御坚固的大城市的军事目标,指挥部将大量炮兵部队集结起来,形成一个强大的炮兵打击集群。

关于分布式与集群的区别,通常我们不必过于拘泥于两者概念的细微差别。若深究,分布式更多强调的是物理分布状态,即工作在不同物理位置上的服务器通过网络通信相互协作以完成任务;而集群则更侧重于逻辑上的组合形态,即是否为了完成某个特定的服务目标而将多个组件或系统集合在一起。


1.1.5 主(Master)/从(Slave)

在集群中,往往会有一个程序或节点被赋予更多的职责,这个角色通常被称为主节点;而其他承担辅助或次要职责的节点则被称为从节点。以MySQL集群为例,如果只有其中一台服务器上的数据库允许执行数据的写入操作(如增加、删除、修改等),而其他数据库的数据修改都需要从这台数据库进行同步,那么这台数据库就被称为主库,而其他数据库则被称为从库。


1.1.6 中间件(Middleware)

一类软件,其作用是促进不同应用程序之间的通信,充当着不同技术、工具和数据库之间的连接桥梁。以生活中的实例来比喻:一家饭店在初创时,可能每天都会亲自前往市场挑选食材;但随着业务的扩大,饭店成立了一个专门的采购部门,这个部门专门负责食材的采购工作,从而成为了厨房与菜市场之间的连接纽带。


1.2 评价指标(Metric)

1.2.1 可用性(Availability)

可用性衡量的是在单位时间段内,系统能够正常提供服务的概率或期望值。例如,年化系统可用性可以通过系统正常提供服务的时间与一年总时间的比值来计算。这里隐含了一个关键指标,即如何评估系统服务是否正常,但对此我们不进行深入探讨。通常,我们会用“几个9”来简要描述系统的可用性,如4个9代表系统能提供99.99%的可用性,5个9则是99.999%的可用性,以此类推。而在日常交流中,我们更常用“高可用性(High Availability, HA)”这一非量化指标来表达我们对系统可用性的追求。


1.2.2 响应时长(ResponseTimeRT)

响应时长是指用户完成输入到系统给出反馈的时间间隔。以点外卖业务为例,响应时长就是从用户完成点单到拿到外卖的时刻之间的时间差。通常,我们需要关注的最长响应时长、平均响应时长和中位数响应时长。这个指标原则上越小越好,但在实际实现中,可能需要根据具体情况进行权衡。


1.2.3 吞吐(Throughput)vs并发(Concurrent)

吞吐衡量的是单位时间段内,系统能够成功处理的请求数量。而并发则是指系统在同一时刻能够支持的最大请求量。以高速公路为例,如果一条车道一分钟内可以通过20辆车,那么这条车道的吞吐量就是20辆/分钟,而并发量可以理解为车道上同时能容纳的车辆数(虽然在实际中,这个并发量很难直接获取,很多时候会用极短时间内的吞吐量来近似代替)。在日常交流中,我们常用“高并发(High Concurrent)”这一非量化指标来简要表达系统对并发处理能力的追求。


(二)架构演进

2.1 单机架构

在初创阶段,我们会依靠一支精炼的技术团队,迅速将业务系统推向市场以接受检验,并能够敏捷的应对需求的变化。幸运的是,由于前期用户访问量较少,系统性能和安全性方面的压力并不大,加之系统架构相对简单,无需配备专业的运维团队。因此,在这个阶段,采用单机架构是一个明智的选择。

当用户在浏览器中输入www.taobao.com时,首先会通过DNS服务将这一域名转换成对应的IP地址,然后浏览器会访问这个IP地址所对应的应用服务。 


2.2 应用数据分离架构

系统上线后,我们取得了预期的成功,吸引了一批忠实用户,导致系统访问量持续增长,逐渐接近硬件资源的承载上限。与此同时,团队也积累了丰富的业务流程经验。面对日益增长的性能压力,我们未雨绸缪,决定进行系统重构和架构升级,以增强系统的承载能力。然而,由于预算仍然有限,我们选择了成本效益最高的方案,即将应用与数据分离,以此来实现系统承载能力的有效提升。

和之前架构的主要区别在于将数据库服务独立部署在同⼀个数据中心的其他服务器上,应用服务通过网络访问数据。


2.3 应用服务集群架构

我们的系统深受用户喜爱,甚至出现了爆款产品,导致单台应用服务器已无法满足需求。此时,单机应用服务器首先遭遇了性能瓶颈。技术团队面临两种解决方案,并就此展开了热烈讨论:

  • 垂直扩展(Scale-Up):通过采购性能更强大但价格更高的应用服务器来应对增加的流量。此方案的优势在于无需对系统软件做任何调整;然而,劣势同样显著:硬件性能与价格的增长关系非线性,即性能提升两倍可能需要花费超过四倍的价格,且硬件性能提升存在明显上限。

  • 水平扩展(Scale-Out):通过调整软件架构,增加应用层硬件,将用户流量分散到不同的应用服务器上,从而提升系统的承载能力。此方案的优势在于成本相对较低,且提升的空间很大。但劣势是增加了系统的复杂性,要求技术团队具备更丰富的经验。

经过团队的深入研究、调研和讨论,最终决定采用水平扩展方案来解决此问题。但这需要引入一个新的组件——负载均衡器。为了解决用户流量应分发到哪台应用服务器的问题,需要一个专门的系统组件进行流量分发。实际上,负载均衡不仅应用于应用层,还可能涉及其他网络层。同时,流量调度算法也多种多样,这里简要介绍几种常见的:

  • 轮询(Round-Robin)算法:非常公平地将请求依次分配给不同的应用服务器。

  • 加权轮询(Weighted Round-Robin)算法:为不同的服务器(如性能差异)分配不同的权重,实现“能者多劳”。

  • 一致性哈希(Consistent Hashing)算法:通过计算用户特征值(如IP地址)的哈希值,根据哈希结果进行分发。其优点是确保来自同一用户的请求总是被分配给指定的服务器,类似于我们平时遇到的专属客户经理服务。


2.4 读写分离/主从分离架构 

在上一节中,我们讨论了通过负载均衡将用户请求分发到不同的应用服务器进行并行处理,并可根据业务需求动态增加服务器数量以减轻压力。然而,当前的架构中,无论服务器数量如何扩展,这些请求最终都会涉及数据库的读写操作。当数据量达到一定程度时,数据库的压力将成为系统承载能力的瓶颈。那么,我们能否像扩展应用服务器那样扩展数据库服务器呢?答案是否定的,因为数据库服务具有其独特性:一旦数据被分散到不同的服务器上,数据的一致性就无法得到保证。这里的数据一致性是指,对于同一个系统,无论何时何地访问,我们都应该看到一个统一且一致的数据状态。以银行管理的账户金额为例,如果收到一笔转账后,一个数据库的数据更新了,而另一个数据库没有更新,那么用户查询到的存款金额将是错误的。

为了解决这个问题,我们采用了主从数据库架构。我们保留一个主要的数据库作为写入数据库(主库),其他数据库作为从属数据库(从库)。从库的所有数据都来自主库,并通过同步机制保持与主库数据的一致性。为了分担数据库的压力,我们将写数据请求全部交给主库处理,而将读请求分散到各个从库中。由于大多数系统中读写请求的比例是不均衡的,例如100次读请求对应1次写请求,因此通过将读请求分散到各个从库处理后,数据库的整体压力会显著降低。当然,这个过程并非没有成本,主库到从库的数据同步需要一定的时间,但这个问题我们在此暂不深入讨论。

应用中需要对读写请求做分离处理,所以可以利用⼀些数据库中间件,将请求分离的职责托管出去。 


2.5 引入缓存⸺冷热分离架构

随着访问量的持续增长,我们发现业务中某些数据的读取频率远高于其他数据,我们将这部分数据定义为热点数据,而与之相对的是冷数据。为了提升热点数据的读取响应时间,我们可以采取增加本地缓存以及在外部部署分布式缓存的策略,缓存热门商品信息或热门商品的HTML页面等内容。通过缓存机制,我们可以在读写数据库之前拦截掉绝大部分请求,从而极大地减轻数据库的压力。

在这一过程中,我们会运用到多种技术,比如使用memcached作为本地缓存解决方案,使用Redis作为分布式缓存系统。然而,缓存的引入也带来了一系列需要关注的问题,如缓存一致性、缓存穿透/击穿现象、缓存雪崩问题以及热点数据集中失效等。这些问题都需要我们在设计和实现缓存策略时给予充分的考虑和应对。


2.6 垂直分库 

随着业务数据量的膨胀,单一数据库已难以满足存储需求,因此,我们可以根据业务逻辑,将数据分散存储。例如,针对评论数据,我们可以采用商品ID进行哈希运算,然后路由到相应的表中存储;而对于支付记录,则可以按小时为单位创建表,并进一步将每个小时的数据拆分成小表,通过用户ID或记录编号来引导数据路由。只要确保实时操作的表数据量保持在一个较小的范围内,且请求能够均匀分配到部署在多台服务器上的小表上,数据库便可通过水平扩展的方式来提升性能。前面提及的Mycat也支持在大表拆分为小表的情况下的访问控制。

然而,这种做法显著提升了数据库运维的复杂性,对DBA的专业能力提出了更高要求。当数据库设计到这种架构时,它实际上已经是一个逻辑上的分布式数据库整体,但内部的不同组件是由不同的系统来实现的。比如,分库分表的管理和请求分发由Mycat承担,SQL的解析工作则由单机数据库完成,读写分离可能依赖于网关和消息队列,而查询结果的汇总则可能由数据库接口层负责。这种架构实质上是大规模并行处理(MPP)架构的一种具体实现。


2.7 业务拆分⸺微服务

随着团队规模的扩大和业务的发展,我们将业务分配给不同的开发团队进行独立维护。每个团队负责实现自己的微服务,并通过隔离数据直接访问的方式,确保各服务间的独立性。为实现服务间的相互调用与关联,我们可以采用Gateway网关、消息总线等技术手段。此外,为了提升效率和复用性,我们还可以将一些通用的业务功能,如用户管理、安全管理、数据采集等,提取出来作为公共服务提供给各个团队使用。


(三)总结 

至此,一个相对合理的高可用、高并发系统的基本框架已经显现。需要注意的是,上述架构的演变顺序是基于某个侧面进行的单独改进,但在实际情境中,可能会同时面临多个问题,或者首先遇到瓶颈的可能是其他方面。因此,在实际操作中,我们应针对具体问题采取相应解决方案。例如,在政府类项目中,尽管并发量可能不大,但业务需求却可能十分复杂,此时,高并发就不是首要解决的问题,而满足丰富的业务需求则成为优先考量。

对于一次性实施且性能指标明确的系统,其架构设计只需满足既定的性能指标要求即可,但应预留扩展接口以应对未来可能出现的需求。而对于不断发展的系统,如电商平台,其架构设计则需考虑未来一段时间内的用户量和性能指标,并随着业务的增长不断迭代升级,以支持更高的并发量和更丰富的业务功能。

“大数据”实际上是对海量数据采集、清洗、转换、存储、分析以及数据服务等场景解决方案的总称。在每个场景中,都有多种可选的技术,如数据采集工具Flume、Sqoop、Kettle等,数据存储方案包括分布式文件系统HDFS、FastDFS以及NoSQL数据库HBase、MongoDB等,数据分析则可能涉及Spark技术栈、机器学习算法等。总的来说,大数据架构是根据业务需求整合各种大数据组件而成的,它通常提供分布式存储、分布式计算、多维分析、数据仓库以及机器学习算法等能力。而服务端架构则更多地关注应用组织层面的设计,其底层能力往往由大数据架构来提供。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/60912.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

WebRTC视频 02 - 视频采集类 VideoCaptureModule

WebRTC视频 01 - 视频采集整体架构 WebRTC视频 02 - 视频采集类 VideoCaptureModule(本文) WebRTC视频 03 - 视频采集类 VideoCaptureDS 上篇 WebRTC视频 04 - 视频采集类 VideoCaptureDS 中篇 WebRTC视频 05 - 视频采集类 VideoCaptureDS 下篇 一、前言…

POI实现根据PPTX模板渲染PPT

目录 1、前言 2、了解pptx文件结构 3、POI组件 3.1、引入依赖 3.2、常见的类 3.3、实现原理 3.4、关键代码片段 3.4.1、获取ppt实例 3.4.2、获取每页幻灯片 3.4.3、循环遍历幻灯片处理 3.4.3.1、文本 3.4.3.2、饼图 3.4.3.3、柱状图 3.4.3.4、表格 3.4.3.5、本地…

sqli-labs靶场17-20关(每日四关)持续更新!!!

Less-17 打开靶场,发现页面比之前多了一行字 翻译过来就是,密码重置,大家肯定会想到,自己平时在日常生活中怎么密码重置,肯定是输入自己的用户名,输入旧密码,输入新密码就可以了,但…

node.js下载安装步骤整理

>> 进入node.js下载页面下载 | Node.js 中文网 >>点击 全部安装包 >>删除网址node后面部分,只保留如图所示部分,回车 >>点击进入v11.0.0/版本 >>点击下载node-v11.0.0-win-x64.zip(电脑是windows 64位操作系统适用) >…

ThinkServer SR658H V2服务器BMC做raid与装系统

目录 前提准备 一. 给磁盘做raid 二. 安装系统 前提准备 磁盘和系统BMC地址都已经准备好,可正常使用。 例: 设备BMC地址:10.99.240.196 一. 给磁盘做raid 要求: 1. 将两个894G的磁盘做成raid1 2. 将两块14902G的磁盘各自做…

SpringBoot配置类

在Spring Boot中,配置类是一种特殊的类,用于定义和配置Spring应用程序的各种组件、服务和属性。这些配置类通常使用Java注解来声明,并且可以通过Spring的依赖注入机制来管理和使用。 Spring 容器初始化时会加载被Component、Service、Reposi…

SpringBoot教程(二十五) | SpringBoot配置多个数据源

SpringBoot教程(二十五) | SpringBoot配置多个数据源 前言方式一:使用dynamic-datasource-spring-boot-starter引入maven依赖配置数据源动态切换数据源实战 方式二:使用AbstractRoutingDataSource1. 创建数据源枚举类2. 创建数据源…

ZooKeeper单机、集群模式搭建教程

单点配置 ZooKeeper在启动的时候,默认会读取/conf/zoo.cfg配置文件,该文件缺失会报错。因此,我们需要在将容器/conf/挂载出来,在制定的目录下,添加zoo.cfg文件。 zoo.cfg logback.xml 配置文件的信息可以从二进制包…

【大数据学习 | HBASE高级】hbase-phoenix 与二次索引应用

1. hbase-phoenix的应用 1.1 概述: 上面我们学会了hbase的操作和原理,以及外部集成的mr的计算方式,但是我们在使用hbase的时候,有的时候我们要直接操作hbase做部分数据的查询和插入,这种原生的方式操作在工作过程中还…

拆解测试显示Mac Mini (2024)固态硬盘并未锁定 互换硬盘后仍可使用

此前已经有维修达人尝试将 Mac Mini (2024) 固态硬盘上的 NAND 闪存拆下并替换实现扩容,例如可以从 256GB 扩容到 2TB。虽然接口类似于 NVMe M.2 SSD 但直接安装普通硬盘是无效的,苹果仍然通过某种机制检测硬盘是否能够兼容。 不过知名拆解网站 iFixit 的…

主界面获取个人信息客户端方

主界面获取个人信息客户端方 前言 上一集我们完成了websocket身份验证的内容,那么这一集开始我们将要配合MockServer来完成主界面获取个人信息的内容。 需求分析 我们这边是完成客户端那方的内容,当客户端登录成功之后,我们就要从服务器获…

Spring整合Redis

前言 在Spring项目中整合Redis,能显著提升数据缓存、分布式锁、会话管理等操作的效率。Jedis作为轻量级的Java Redis客户端,搭配Spring Data Redis模块,能够简化Redis的连接和数据操作,实现更高性能的读写与灵活的缓存管理。本文…

爬虫——Requests库的使用

在爬虫开发中,HTTP请求是与服务器进行交互的关键操作。通过发送HTTP请求,爬虫可以获取目标网页或接口的数据,而有效地处理请求和响应是爬虫能够高效且稳定运行的基础。Requests库作为Python中最常用的HTTP请求库,因其简洁、易用和…

LinkedHashMap实现LRU

LRU 环境:JDK11 最近接触LRU(Least Recently Used),即最近最少使用,也称淘汰算法,在JDK中LinkedHashMap有相关实现 LRU的LinkedHashMap实现 LinkedHashMap继承HashMap。所以内存的存储结构和HashMap一样,但是LinkedH…

IDEA部署AI代写插件

前言 Hello大家好,当下是AI盛行的时代,好多好多东西在AI大模型的趋势下都变得非常的简单。 比如之前想画一幅风景画得先去采风,然后写实什么的,现在你只需描述出你想要的效果AI就能够根据你的描述在几分钟之内画出一幅你想要的风景…

27-压力测试

测试目标 & 测试数据 ● 测试目标 ○ 测试集群的读写性能 / 做集群容量规划 ○ 对 ES 配置参数进行修改,评估优化效果 ○ 修改 Mapping 和 Setting,对数据建模进行优化,并测试评估性能改进 ○ 测试 ES 新版本,结合实际场…

4. Spring Cloud Ribbon 实现“负载均衡”的详细配置说明

4. Spring Cloud Ribbon 实现“负载均衡”的详细配置说明 文章目录 4. Spring Cloud Ribbon 实现“负载均衡”的详细配置说明前言1. Ribbon 介绍1.1 LB(Load Balance 负载均衡) 2. Ribbon 原理2.2 Ribbon 机制 3. Spring Cloud Ribbon 实现负载均衡算法-应用实例4. 总结&#x…

vue3【实战】切换全屏【组件封装】FullScreen.vue

效果预览 原理解析 使用 vueUse 里的 useFullscreen() 实现 代码实现 技术方案 vue3 vite UnoCSS vueUse 组件封装 src/components/FullScreen.vue <template><component:is"tag"click"toggle":class"[!isFullscreen ? i-ep:full-sc…

docker:基于Dockerfile镜像制作完整案例

目录 摘要目录结构介绍起始目录package目录target目录sh目录init.sh脚本start.sh脚本stop.sh脚本restart.sh脚本 config目录 步骤1、编写dockerfilescript.sh脚本 2、构件镜像查看镜像 3、保存镜像到本地服务器4、复制镜像文件到指定目录&#xff0c;并执行init.sh脚本5、查看挂…

微澜:用 OceanBase 搭建基于知识图谱的实时资讯流的应用实践

本文作者&#xff1a; 北京深鉴智源科技有限公司架构师 郑荣凯 本文整理自北京深鉴智源科技有限公司架构师郑荣凯&#xff0c;在《深入浅出 OceanBase 第四期》的分享。 知识图谱是一项综合性的系统工程&#xff0c;需要在在各种应用场景中向用户展示经过分页的一度关系。 微…