程序员修神之路--高并发下如何缩短响应时间

640?wx_fmt=gif点击上方“蓝字”带你去看小星星

菜菜哥,请你看电影呀,但是得帮我一个忙

640?wx_fmt=png640?wx_fmt=jpeg

好呀,看什么?

640?wx_fmt=png640?wx_fmt=jpeg

哥斯拉2:怪兽之王

640?wx_fmt=png640?wx_fmt=jpeg

看过了~

640?wx_fmt=png640?wx_fmt=jpeg

X战警:黑凤凰

640?wx_fmt=png640?wx_fmt=jpeg

看过了

640?wx_fmt=png640?wx_fmt=jpeg

追龙2和黑衣人呢?

640?wx_fmt=png640?wx_fmt=jpeg

都看过了,你说帮什么忙吧

640?wx_fmt=png640?wx_fmt=jpeg

我一个网站响应特别慢,你帮我优化一下呗,很简单

640?wx_fmt=png640?wx_fmt=jpeg

你以为真的很简单吗?

640?wx_fmt=png640?wx_fmt=jpeg

你以为真的很简单吗?

640?wx_fmt=gif


640?wx_fmt=png定义


640?wx_fmt=gif

网站响应时间是指系统对请求作出响应的时间。通俗来讲就是我们把网址输入进浏览器然后敲回车键开始一直到浏览器把网站的内容呈现给用户的这段时间。网站响应时间是越短越好,因为网站页面打开速度越快,就意味着我们的用户可以更快的访问站点或者我们的服务器。一般我们网站的响应时间保持在100~1000ms即可。1m=1000ms,打开速度越快对用户体验度越好。据说响应时间还会影响到网站SEO效果(请行业专家留言告诉我)。


响应时间并不能直接反映网站性能的高低,但是在一定程度上反应了网站系统的处理能力,也是给用户最直观上的感受。如果网站的响应时间过长,比如10秒以上,用户的流失率会大大增加,所以把响应时间控制在一定范围内是提高用户体验度的第一要素。

640?wx_fmt=png解决方案


640?wx_fmt=gif

当用户请求一个网站数据的时候,实际上是发送了一个http请求,在宏观上可以分为两个部分:

1. http请求到达目标网站服务器之前

2. http请求到达目标网站服务器之后

如果忽略其中硬件部分和部分细节,请求一个网站数据的大体过程如下图所示(其中CDN和缓存部分可以省略):

640?wx_fmt=png640?wx_fmt=gif

我们要想缩短一个网站的响应时间,本质上是提高数据的返回速度,说的直白一点就是要把请求数据过程中的各个步骤提高速度,这样整体下来响应时间就会缩短。

640?wx_fmt=png

把数据放在离用户越近的地方响应时间越快

640?wx_fmt=png

客户端

640?wx_fmt=gif

客户端是发起一个网站请求的源头,其实这个源头可以施加一定的策略来大大缩短某些数据的获取时间。其中最为常用的就是缓存,一些常用的,很少变动的资源缓存在客户端,不但能缩短获取资源的时间,而且在很大程度上能减轻服务端的压力。比如一些图片,css,js文件,甚至一些接口的数据或者整个网页内容都可以在客户端做缓存。另外http请求的合并也可以减少对服务端的请求次数,在一定程度上可以缩短请求的响应时间。

DNS

640?wx_fmt=gif

一般网站的访问方式都采用域名的方式(很少见IP方式),既然是域名就涉及到DNS解析速度的问题,如果DNS服务解析的速度比较慢,整体过程的响应时间也会加长,不过这个过程其实很少出现慢的问题(不是说没有)。DNS的解析过程可以查看这篇文章

网络

640?wx_fmt=gif

客户端获取到网站IP之后通过网卡把Http请求发送出去,目标地址为相应的网站服务器。在这个过程当中如果客户端和服务器端有一方带宽比较小的话,就会加大响应时间。我司曾经就因为服务器带宽过小导致客户端响应时间很长的情况,当时排查了很长时间才发现。


当然网络是不可靠的,这个过程的响应时间其实取决于很多因素,比如路由器的路由策略是否最优,整个过程通过的网关数据量等。所以有很多网站其实是多地区多机房部署的,目的就是为了让用户通过很短的网络路径就能到达网站(其实这个过程运营商的选择也有影响)。

网站

640?wx_fmt=gif

当一个请求到达网站服务器,服务器便开始处理请求,一般会有专门处理业务请求的一个业务层,有的体现为rpc协议的微服务,有的体现为简单的一个代码分层。最终请求的数据会通过查询数据库来返回。其实这个过程和车站购票流程一样,每个窗口的处理能力是有限的,对应到服务器处理能力。由于这个原因,所以诞生了负载均衡的策略,核心思想就是:分。一台服务器不够,那就两台,三台,四台..... 直到并发的所有请求的响应时间都在可控范围之内。


数据库的情况类似,一个数据库扛不住压力,就加到N个数据库分散压力。一个表扛不住压力,就把这个表拆分开,拆分成多个表,甚至拆分到多个不同服务器数据库,这就是我们常用的拆表策略。有的时候在同一个数据库中进行表拆分,性能的提升并非最大化,因为一台服务器的磁盘IO是有上限的,就算拆成100个表,还是在同一个物理磁盘上,当然这样可缓解锁单表的情况。


现在有很多的场景采用NOsql代替关系型数据库来缩短响应时间,在正常情况下,由于关系型数据库的本身因素在特定场景下的读写速度比Nosql要慢很多,所以系统设计初期,可以考虑采用关系型数据库和Nosql混用的方案。

缓存

640?wx_fmt=gif

当并发的请求到达一定程度,瓶颈大部分情况下发生在DB层面,甚至DB无论怎么优化总有上限。为了避免频繁查询数据库产生瓶颈,诞生了缓存。在访问数据库之前加入了缓存层,当然这里的缓存采用的方案在数据的响应时间上要比数据库小很多,比如常用的redis,Memcache,但是这些第三方的缓存组件还是要走网络,比起进程内的缓存还是要慢的多。详情请参考以前文章

现在一般流行的设计在网站层和服务层都有缓存策略,只不过缓存的数据和策略有所不同,但是最终目的都是为了加快请求的响应。当然加了缓存之后,数据的一致性需要仔细设计才可以,如果发生数据不一致的情况,程序员可能要背锅了。

640?wx_fmt=png

缓解数据库压力并不是引入缓存的唯一因素。

640?wx_fmt=png

CDN加速

640?wx_fmt=gif

一些小厂可能用不到cdn,但是cdn带来的加速还是很客观的。cdn依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。CDN就是把离用户最近的数据返回给用户。

640?wx_fmt=png写在最后640?wx_fmt=png

程序异步化其实并不能缩短响应时间,但是对提高吞吐量有很大作用。

开头的那些电影我真的都看过了

640?wx_fmt=pngTHE END640?wx_fmt=png


640?wx_fmt=gif程序员过关斩将--你为什么还在用存储过程?程序员过关斩将--小小的分页引发的加班血案●程序员修神之路--问世间异步为何物?●程序员修神之路--提高网站的吞吐量?●程序员修神之路--?分布式高并发下Actor模型如此优秀?●程序员过关斩将--论商品促销代码的优雅性●程序员过关斩将--你的面向接口编程一定对吗?●程序员修神之路--高并发下为什么更喜欢进程内缓存●程序员修神之路--高并发优雅的做限流

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/315426.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

URAL - 1732 Ministry of Truth--kmp算法的应用(kmp模板)

题目大意:首先给你第一串字符串(s1),让你删到一些字母,变成下面的字符串(s2),删除的字母会变成字符‘_’; 思路:用kmp算法让s1每一个单词在s1上匹配,从前面开始找,记得匹…

AtCoder Beginner Contest 194 E - Mex Min 思维

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 给你个长度为nnn的数组&#xff0c;让后一个mmm&#xff0c;问对于所有的0<i<n−m0<i<n-m0<i<n−m&#xff0c;求min(mex(Ai1,...,Ai2,AiM))min(mex(A_{i1},...,A_{i2},A_{iM}))min(mex(A…

从SQL Server到多数据库,微软数据库迁移全攻略

据了解&#xff0c;截止到 2022&#xff0c;云迁移市场规模将达到 1290 亿美元&#xff0c;云迁移服务市场的利润率达 26.7%。数据库作为企业迁移上云的关键环节&#xff0c;自然成为了各大云厂商关注的重点&#xff0c;除了提供各种各样的云端数据库&#xff0c;迁移服务也是云…

Gym - 100952H--H. Special Palindrome--dp整数划分(模板)

题目地址 A sequence of positive and non-zero integers called palindromic if it can be read the same forward and backward, for example: 15 2 6 4 6 2 15 20 3 1 1 3 20 We have a special kind of palindromic sequences, let’s call it a special palindrome. A…

AtCoder Beginner Contest 194 F - Digits Paradise in Hexadecimal 数位dp

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 给一个161616进制的串NNN&#xff0c;让你求1−N1-N1−N中有多少个数有kkk个不同的数且没有前导零。 思路&#xff1a; NNN很大&#xff0c;有2e52e52e5了&#xff0c;那么就比较明显是个数位dpdpdp了。首先…

C#并发编程之异步编程(二)

写在前面前面一篇文章介绍了异步编程的基本内容&#xff0c;同时也简要说明了async和await的一些用法。本篇文章将对async和await这两个关键字进行深入探讨&#xff0c;研究其中的运行机制&#xff0c;实现编码效率与运行效率的提升。异步方法描述&#xff1a;使用async修饰符来…

2020牛客暑期多校训练营(第四场)H.Harder Gcd Problem(把1到n分为不互质的数对,找最多的对数)

题目大意&#xff1a;把1到n分为不互质的数对&#xff0c;找最多的对数 思路&#xff1a;先从最大的质因数开始找&#xff0c;因为小的比大的更容易匹配&#xff0c;所以贪心的从大的开始找。 首先要预处理出所以数的最大质因数。 然后根据质因数从大往小找&#xff0c;当质因…

Palindromic Numbers LightOJ - 1205 数位dp 求回文数

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 求[l,r][l,r][l,r]中有多少个回文数。 思路&#xff1a; 裸的数位dpdpdp啦&#xff0c;记dp[pos][pre][state]dp[pos][pre][state]dp[pos][pre][state]表示到了第pospospos位&#xff0c;回文是从第prepre…

C#规范整理·语言要素

如有不理解&#xff0c;请留言&#xff0c;开始!1. 正确操作字符串拼接字符串一定要考虑使用 StringBuilder ,默认长度为16,实际看情况设置。StringBuilder本质&#xff1a; 是以非托管方式分配内存。同时StringFormat方法 内部也是使用StringBuilder进行字符串格式化。2. 使用…

Educational Codeforces Round 94 (Rated for Div. 2) D(思维)

题目&#xff1a; You are given an array a1,a2…an. Calculate the number of tuples (i,j,k,l) such that: 1≤i<j<k<l≤n; aiak and ajal; Input The first line contains a single integer t (1≤t≤100) — the number of test cases. The first line of each…

2019 ICPC Asia Nanchang Regional K.Tree 树上启发式合并 + 动态开点线段树

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 给你一棵树&#xff0c;每个点都有一个权值valvalval&#xff0c;求满足以下条件 (1)x!yx!yx!y (2)xxx和yyy不互为祖先 (3)val[lca(x,y)]∗2val[x]val[y]val[lca(x,y)]*2val[x]val[y]val[lca(x,y)]∗2val[x]…

NetCore服务虚拟化01(集群组件Sodao.Core.Grpc)

一. 起始去年.NetCore2.0的发布&#xff0c;公司决定新项目采用.NetCore开发&#xff0c;当作试验。但是问题在于当前公司内部使用的RPC服务为Thrift v0.9 zookeeper版本&#xff0c;经过个性化定制&#xff0c;支持了异步&#xff0c;但也因为如此&#xff0c;这么多年来一直…

2019 ICPC Asia Nanchang Regional And and Pair 组合数学

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 给一个长度为nnn的二进制&#xff0c;求满足如下条件的j,ij,ij,i对数&#xff1a; (1)0<j<i<n(1)0<j<i<n(1)0<j<i<n (2)i&ni(2)i\And ni(2)i&ni (3)i&j0(3)i\And j0…

Oracle 发布基于 VS Code 的开发者工具,轻松连接 Oracle 数据库

在之前的文章中&#xff0c;我们提到了亚马逊、谷歌、IBM 等大厂都上了 Visual Studio Code 的船。今天&#xff08;北京时间 2019 年 6 月 20 日&#xff09;&#xff0c;甲骨文也上了 VS Code 的船&#xff0c;发布了基于 VS Code 的开发者工具&#xff0c;让开发者能轻松连接…

CF741D Arpa’s letter-marked tree and Mehrdad’s Dokhtar-kosh paths 树启 + 状压

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 思路&#xff1a; 据说是树启的压轴题。 先观察题意&#xff0c;字符有1−221-221−22中&#xff0c;为什么不是1−261-261−26个&#xff1f;显然他就是让你状压的。我们考虑将每条路径上字符状压成statest…

线段树——思维(Codeforces 339D Xenia and Bit Operations/Billboard HDU - 2795)

Codeforces 339D Xenia and Bit Operations vj地址 题意&#xff1a;给出2的n次方个数&#xff0c;每次将现在这个序列中相邻的两个数运算后合并为一个数&#xff0c;得到一个新的序列&#xff0c;这个新序列的长度是上一个序列长度-1&#xff0c;当新序列长度为1时停止运算&am…

误删50节点K8s集群为何3小时才能复原?Spotify揭自家事故幕后经验

误删50节点K8s集群为何3小时才能复原&#xff1f;Spotify揭自家事故幕后经验线上音乐串流服务Spotify一位基础架构工程师David Xia&#xff0c;在今年欧洲KubeCon大会上分享了自家Kubernetes集群一次意外事件。拥有上亿用户的Spotify&#xff0c;旗下开发者高达1千人&#xff0…

Codeforces Round #610 (Div. 2) D. Enchanted Artifact 交互 + 思维

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 思路&#xff1a; 首先我们发现如果知道了字符串的长度&#xff0c;我们就可以O(n1)O(n1)O(n1)次询问求解出来。比如当前长度为nnn&#xff0c;那么我们就可以构造出一个长度为nnn的全′a′a′a′字符串&…

P1005 矩阵取数游戏(__int128模板/简单dp)

转跳P1005 题目描述 帅帅经常跟同学玩一个矩阵取数游戏&#xff1a;对于一个给定的 n \times mnm 的矩阵&#xff0c;矩阵中的每个元素 a_{i,j}a i,j ​ 均为非负整数。游戏规则如下&#xff1a; 每次取数时须从每行各取走一个元素&#xff0c;共 nn 个。经过 mm 次后取完矩…

Docker+ Kubernetes已成为云计算的主流(二十六)

前言 最近正在抽时间编写k8s的相关教程&#xff0c;很是费时&#xff0c;等相关内容初步完成后&#xff0c;再和大家分享。对于k8s&#xff0c;还是上云更为简单、稳定并且节省成本&#xff0c;因此我们需要对主流云服务的容器服务进行了解&#xff0c;以便更好地…