大型网站架构演化总结

本文图解大型网站架构演化。

目录

1、单一应用服务阶段

2、应用与数据服务分离阶段

3、利用缓存提高性能阶段

4、应用服务集群阶段

5、数据库读写分离阶段

6、反向代理与CDN加速阶段

7、分布式数据库阶段

8、 NoSQL与搜索引擎阶段

9、业务拆分阶段

10、分布式服务阶段

总结


1、单一应用服务阶段

所有的大型网站都是由最小型的网站架构演变而来的。回想一下你最开始写服务端代码,是不是数据库MySQL在本地,服务器也是本地,那最初阶段也是这样的,网站的流量也不大,通常就将应用服务、数据服务、文件资源等所有资源都放在一台服务器上,比如我们学java web的时候,都是利用Tom等Web容器开始运行应用服务程序,比如JSP,然后需要数据库的时候用JDBC去连接本地Mysql Server。

2、应用与数据服务分离阶段

经过业务发展迭代增加,用户量、日活的上升,简单的一台服务器就搞不定了。比如可能由于用户产生的数据量过多导致存储空间不够,而一台服务器同时得处理数据服务和用户的应用web响应,CPU资源有限的情况下,是无法满足用户想要快速响应需求的,网站的访问数据变得越来越慢,而数据服务和应用服务所对计算机资源的需求是不一样的,比如应用服务器需要更多的CPU资源,给这台服务器配上多几核的CPU,数据服务可能需要与磁盘打交道,配备更多的闪存。

这时候就将应用服务和数据服务进行分离。将应用服务器单独出来,专注于响应web请求,提高用户的访问速度,将数据库单独放在一台服务器,专注于处理与应用服务器打过来的数据请求,将文件资源放在一台服务器上,与应用服务器打交道,为其提供文件服务。

3、利用缓存提高性能阶段

随着用户的再增加,业务的再次升级。网站有面临了一个数据库服务的压力太大而导致整体的访问效率下降,再次影响用户的访问体验。

你可以想象,我们日常的微博、抖音那些热点数据,是几个每个打开这些应用的人会请求到的。所以二八定律永远存在,80%的请求在20%的数据上。所以这个时候将这20%的数据进行高校的缓存起来,这样网站整体的性能又可以提升了。

缓存可以分为两种:一种的直接缓存在应用服务器上,另外是一种开一台缓存服务器进行缓存。后者可以进行很好的弹性伸缩,而前者会受到本地容量的限制。我们称后者服务器为:分布式缓存服务器。

4、应用服务集群阶段

当使用缓存后,数据库的访问压力得到有效缓解。再次随着业务的增加,单一应用服务器能够并发处理的请求连接有限,在流量的高峰期,应用服务器开始成为整个系统的性能瓶颈。

因此这个时候就开始组件应用服务器集群,不仅应用服务器有集群,缓存服务器等也可以组成集群。那么既然有了服务器集群,那对于这些请求,到底应该有哪台服务器响应呢。所以负载均衡调度服务器就出现了。

通过负载均衡调度服务器,可将来自浏览器的访问请求分发到应用的集群中的任何一台服务器上。使用服务器集群也有个好处,Web 应用程序更新可以做到用户无感知,当有一个节点的服务器宕机之后,也不影响整体的请求。

5、数据库读写分离阶段

虽然增加了数据缓存这一层。比如利用redis缓存,但是随着用户量的不断增加。总有一些是无法通过缓存提高的,比如还可能出现缓存过期、缓存没有命中等情况。那么这些请求全部会打到数据库服务器上,这个时候数据库服务成为了整个系统的瓶颈。所以数据读写分离就出现了。

目前大部分的数据库都提供了一个主从热备的功能。通过配置主从两台服务器,当应用服务器往主服务器写入诗句时,利用主从复制机制将数据更新同步到从数据库上。读写分离之后,数据库的性能瓶颈就解决了。

6、反向代理与CDN加速阶段

当网站业务再次升级,用户规模再次扩大,为了满足不同地区的用户访问速度,提高响应速度,CDN和反向代理就出现了,两者基本原因都是缓存。

CDN就是内容分发网络,你的请求响应服务器会从距离你最近的一个服务器集群上响应回来,比如你在云南,可能就从云南的机房响应。

而反向代理则部署在中心机房,当请求来到中心机房后,首先访问的时候反向代理服务器,看看是否名字缓存,如果命中则直接返回。

7、分布式数据库阶段

分布式数据库是系统数据库拆分的最后手段,这只有在单表数据规模非常大的时候才会用,一般的数据库拆分都是对业务拆分后将不同的业务数据部署在不同的服务器上。

8、 NoSQL与搜索引擎阶段

当成为大型系统的时候,搜索成为了日常需求,这时会采用NoSQL和搜索引擎来提高搜索效率,缓存的时候redis也是NoSQL类型的。

9、业务拆分阶段

当业务日渐的增多,可能团队人员也不利于管理,这个时候大型的系统都会进行业务拆分,比如抖音就拆了很多很多业务线。每条业务线服务不同的服务,每个服务都单独进行部署,可以通过消息队列进行数据分发。

10、分布式服务阶段

随着业务拆分越来越小,存储系统越来越庞大,应用系统的整体复杂度呈指数级增加,部署维护越来越困难。

既然每一个应用系统都需要执行许多相同的业务操作,比如用户管理、商品管理等,那么可以将这些共用的业务提取出来,独立部署。由这些可复用的业务连接数据库,提供共用业务服务,而应用系统只需要管理用户界面,通过分布式服务调用共用业务服务完成具体业务操作。

总结

目前很少有人能经历上面的系统演进,大部分大型的系统已经成型,而小系统可能又很可能撑不到成为大系统,所以很少有人能经历这些,不过了解这些,我们对于整个系统架构的理解非常有帮助。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/726798.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Leetcode刷题(三十八)

旋转矩阵(Medium) 给定一个 n n 的二维矩阵 matrix 表示一个图像。请你将图像顺时针旋转 90 度。你必须在 原地 旋转图像,这意味着你需要直接修改输入的二维矩阵。请不要 使用另一个矩阵来旋转图像。示例 1:输入:mat…

openGauss数据库实战分享

一:openGauss 数据库简介 想必大家都了解华为这个企业,华为在手机、通信、汽车研发、操作系统研发等方面都有很大的成就,如果不是受到了制裁,估计华为现在能取得更好的成绩。华为这一品牌大家都知道,但是华为的 openGa…

PaddleOCR识别框架解读[06] DBNet 阈值图与概率图标签的生成

文章目录 概率图 probability map 标签阈值图 threshold map 标签DB: Real-time Scene Text Detection with Differentiable Binarization网络整体流程一. Label generationprobability map生成threshold map 生成二. Differentiable Binarization可微二值化2.1 传统二值化和DB…

前端面试练习24.3.7

目录 1.类型转换练习 2.数据之间运算 算术运算 比较运算 逻辑运算 3.动态执行JS(类似eval方法) 1.eval()方法 2.setTimeout 3.创建DOM节点进行添加 4.Function的最后一个参数当作函数体直接运行 4.promise工具函数练习 5.统计字符频率写法的发…

js的类等于什么操作产生的?

class 类定义提升 class如和产生的对象? 类定义 实际上,类是“特殊的函数”,就像你能够定义的函数表达式和函数声明一样,类语法有两个组成部分:类表达式和类声明。 提升 函数声明和类声明之间的一个重要区别在于&am…

基于springboot+vue的医疗挂号管理系统

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

vcruntime140.dll丢失的修复办法详细介绍以及详细步骤

当电脑丢失vcruntime140.dll文件时,电脑会出现关于vcruntime140.dll丢失的错误提示,vcruntime140.dll文件包含许多重要的函数和资源,若缺少或丢失该文件,可能会导致电脑出现异常状况。今天就来和大家说说如果电脑出现关于vcruntim…

获取别人店铺的所有商品API接口

使用淘宝淘口令接口的步骤通常包括: 注册成为淘宝开放平台的开发者:在淘宝开放平台网站上注册账号并完成认证。 创建应用以获取API密钥:在您的开发者控制台中创建一个应用,并获取用于API调用的密钥,如Client ID和Clie…

【JavaEE初阶 -- 计算机核心工作机制】

这里写目录标题 1.冯诺依曼体系2.CPU是怎么构成的3.指令表4.CPU执行代码的方式5.CPU小结:6.编程语言和操作系统7. 进程/任务(Process/Task)8.进程在系统中是如何管理的9. CPU分配 -- 进程调度10.内存分配 -- 内存管理11.进程间通信 1.冯诺依曼…

javaweb学习(day07-手动实现tomcat)

一、引入案例 1 小案例 引出对 Tomcat 底层实现思考 1.1 完成小案例 1.1.1 运行效果 1.2 maven简要介绍 我们准备使用 Maven 来 创建一个 WEB 项目 , 先 简单给小伙伴介绍一下 Maven 是 什 么 , 更加详细的使用,我们还会细讲 , 现在先使用一把 1.3 创…

vue中常用的指令和自定义指令

在Vue中&#xff0c;常用的指令有v-bind、v-on、v-for、v-if、v-show等。自定义指令可以通过Vue.directive()方法来创建。 下面是常用指令和自定义指令的代码示例&#xff1a; v-bind&#xff1a;用于动态绑定HTML属性 <div v-bind:class"{active: isActive}"&…

多个变量指向同一个数组

多个变量中的内存地址是一样的&#xff0c;都是指向当前的数组&#xff0c;存储当前数组对象的地址&#xff0c;因此修改是对当前数组的值进行修改 数组中存储的是null&#xff0c;那么他将不会指向任何数组对象 System.out.println(arr) 输出结果为null&#xff0c;里面没有…

Vue+OpenLayers7入门到实战:webgl图层叠加大量Icon图片到地图,解决叠加超大数据量图片导致浏览器卡住变慢的问题

返回《Vue+OpenLayers7》专栏目录:Vue+OpenLayers7 前言 之前已经讲了如何地图中如何添加大量点到webgl图层优化大量点浏览器页面卡顿的问题。本章介绍补充一下叠加大量图片图标要素到地图的情况下的问题。 二、依赖和使用 "ol": "7.5.2"使用npm安装依…

Vue+OpenLayers7入门到实战:OpenLayers7如何使用gifler库来实现gif动态图图片叠加到地图上

返回《Vue+OpenLayers7》专栏目录:Vue+OpenLayers7 前言 OpenLayers7本身不支持gif图片作为图标要素显示到地图上,所以需要通过其他办法来实现支持gif图片。 本章介绍如何使用OpenLayers7在地图上使用gifler库先生成canvas画板,然后通过canvas画板的重绘事件来重新渲染地图…

leetcode 热题 100_最大子数组和

题解一&#xff1a; 动态规划&#xff1a;这是一道经典的动态规划题。维护一个dp数组&#xff0c;dp[i]表示0~i组成的数组的最大子数组和。当数组长度为1时&#xff0c;最大和连续子数组是它本身&#xff0c;也就是dp[i]nums[i]。当数组长度每增加1时&#xff0c;最大和连续子数…

LVGL在VScode中安装模拟器运行配置笔记教程

1、LVGL模拟器工程搭建 LVGL(Light and Versatile Graphics Library,轻巧而多功能的图形库)是一个免费的开放源代码图形库,它提供创建具有易于使用的图形元素,精美的视觉效果和低内存占用的嵌入式GUI所需的一切。本文主要讲述如何实现在VScode中实现LVGL模拟器环境的搭建运行。…

遗传算法理解与代码实战(一)- demo(python手写代码)

遗传算法&#xff08;Genetic Algorithm, GA&#xff09;是模拟自然界中生物进化的机制来搜索最优解的方法。遗传算法属于进化计算的一部分&#xff0c;它借鉴了达尔文的自然选择和孟德尔的遗传学原理。 1、算法背景 遗传算法的灵感来源于生物进化过程。在自然界中&#xff0…

Linux CentOS系统安装Spug并结合内网穿透实现远程访问本地运维平台

目录 前言 1. Docker安装Spug 2 . 本地访问测试 3. Linux 安装cpolar 4. 配置Spug公网访问地址 5. 公网远程访问Spug管理界面 6. 固定Spug公网地址 结语 作者简介&#xff1a; 懒大王敲代码&#xff0c;计算机专业应届生 今天给大家聊聊Linux CentOS系统安装Spug并结合…

嵌入式学习day31 网络

网络: 数据传输,数据共享 1.网络协议模型: OSI协议模型 应用层 实际发送的数据 表示层 发送的数据是否加密 会话层 是否建立会话连接 传输层 数据传输的方式&#xff08;数据报…