程序员修神之路--高并发下如何缩短响应时间

640?wx_fmt=gif点击上方“蓝字”带你去看小星星

菜菜哥,请你看电影呀,但是得帮我一个忙

640?wx_fmt=png640?wx_fmt=jpeg

好呀,看什么?

640?wx_fmt=png640?wx_fmt=jpeg

哥斯拉2:怪兽之王

640?wx_fmt=png640?wx_fmt=jpeg

看过了~

640?wx_fmt=png640?wx_fmt=jpeg

X战警:黑凤凰

640?wx_fmt=png640?wx_fmt=jpeg

看过了

640?wx_fmt=png640?wx_fmt=jpeg

追龙2和黑衣人呢?

640?wx_fmt=png640?wx_fmt=jpeg

都看过了,你说帮什么忙吧

640?wx_fmt=png640?wx_fmt=jpeg

我一个网站响应特别慢,你帮我优化一下呗,很简单

640?wx_fmt=png640?wx_fmt=jpeg

你以为真的很简单吗?

640?wx_fmt=png640?wx_fmt=jpeg

你以为真的很简单吗?

640?wx_fmt=gif


640?wx_fmt=png定义


640?wx_fmt=gif

网站响应时间是指系统对请求作出响应的时间。通俗来讲就是我们把网址输入进浏览器然后敲回车键开始一直到浏览器把网站的内容呈现给用户的这段时间。网站响应时间是越短越好,因为网站页面打开速度越快,就意味着我们的用户可以更快的访问站点或者我们的服务器。一般我们网站的响应时间保持在100~1000ms即可。1m=1000ms,打开速度越快对用户体验度越好。据说响应时间还会影响到网站SEO效果(请行业专家留言告诉我)。


响应时间并不能直接反映网站性能的高低,但是在一定程度上反应了网站系统的处理能力,也是给用户最直观上的感受。如果网站的响应时间过长,比如10秒以上,用户的流失率会大大增加,所以把响应时间控制在一定范围内是提高用户体验度的第一要素。

640?wx_fmt=png解决方案


640?wx_fmt=gif

当用户请求一个网站数据的时候,实际上是发送了一个http请求,在宏观上可以分为两个部分:

1. http请求到达目标网站服务器之前

2. http请求到达目标网站服务器之后

如果忽略其中硬件部分和部分细节,请求一个网站数据的大体过程如下图所示(其中CDN和缓存部分可以省略):

640?wx_fmt=png640?wx_fmt=gif

我们要想缩短一个网站的响应时间,本质上是提高数据的返回速度,说的直白一点就是要把请求数据过程中的各个步骤提高速度,这样整体下来响应时间就会缩短。

640?wx_fmt=png

把数据放在离用户越近的地方响应时间越快

640?wx_fmt=png

客户端

640?wx_fmt=gif

客户端是发起一个网站请求的源头,其实这个源头可以施加一定的策略来大大缩短某些数据的获取时间。其中最为常用的就是缓存,一些常用的,很少变动的资源缓存在客户端,不但能缩短获取资源的时间,而且在很大程度上能减轻服务端的压力。比如一些图片,css,js文件,甚至一些接口的数据或者整个网页内容都可以在客户端做缓存。另外http请求的合并也可以减少对服务端的请求次数,在一定程度上可以缩短请求的响应时间。

DNS

640?wx_fmt=gif

一般网站的访问方式都采用域名的方式(很少见IP方式),既然是域名就涉及到DNS解析速度的问题,如果DNS服务解析的速度比较慢,整体过程的响应时间也会加长,不过这个过程其实很少出现慢的问题(不是说没有)。DNS的解析过程可以查看这篇文章

网络

640?wx_fmt=gif

客户端获取到网站IP之后通过网卡把Http请求发送出去,目标地址为相应的网站服务器。在这个过程当中如果客户端和服务器端有一方带宽比较小的话,就会加大响应时间。我司曾经就因为服务器带宽过小导致客户端响应时间很长的情况,当时排查了很长时间才发现。


当然网络是不可靠的,这个过程的响应时间其实取决于很多因素,比如路由器的路由策略是否最优,整个过程通过的网关数据量等。所以有很多网站其实是多地区多机房部署的,目的就是为了让用户通过很短的网络路径就能到达网站(其实这个过程运营商的选择也有影响)。

网站

640?wx_fmt=gif

当一个请求到达网站服务器,服务器便开始处理请求,一般会有专门处理业务请求的一个业务层,有的体现为rpc协议的微服务,有的体现为简单的一个代码分层。最终请求的数据会通过查询数据库来返回。其实这个过程和车站购票流程一样,每个窗口的处理能力是有限的,对应到服务器处理能力。由于这个原因,所以诞生了负载均衡的策略,核心思想就是:分。一台服务器不够,那就两台,三台,四台..... 直到并发的所有请求的响应时间都在可控范围之内。


数据库的情况类似,一个数据库扛不住压力,就加到N个数据库分散压力。一个表扛不住压力,就把这个表拆分开,拆分成多个表,甚至拆分到多个不同服务器数据库,这就是我们常用的拆表策略。有的时候在同一个数据库中进行表拆分,性能的提升并非最大化,因为一台服务器的磁盘IO是有上限的,就算拆成100个表,还是在同一个物理磁盘上,当然这样可缓解锁单表的情况。


现在有很多的场景采用NOsql代替关系型数据库来缩短响应时间,在正常情况下,由于关系型数据库的本身因素在特定场景下的读写速度比Nosql要慢很多,所以系统设计初期,可以考虑采用关系型数据库和Nosql混用的方案。

缓存

640?wx_fmt=gif

当并发的请求到达一定程度,瓶颈大部分情况下发生在DB层面,甚至DB无论怎么优化总有上限。为了避免频繁查询数据库产生瓶颈,诞生了缓存。在访问数据库之前加入了缓存层,当然这里的缓存采用的方案在数据的响应时间上要比数据库小很多,比如常用的redis,Memcache,但是这些第三方的缓存组件还是要走网络,比起进程内的缓存还是要慢的多。详情请参考以前文章

现在一般流行的设计在网站层和服务层都有缓存策略,只不过缓存的数据和策略有所不同,但是最终目的都是为了加快请求的响应。当然加了缓存之后,数据的一致性需要仔细设计才可以,如果发生数据不一致的情况,程序员可能要背锅了。

640?wx_fmt=png

缓解数据库压力并不是引入缓存的唯一因素。

640?wx_fmt=png

CDN加速

640?wx_fmt=gif

一些小厂可能用不到cdn,但是cdn带来的加速还是很客观的。cdn依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。CDN就是把离用户最近的数据返回给用户。

640?wx_fmt=png写在最后640?wx_fmt=png

程序异步化其实并不能缩短响应时间,但是对提高吞吐量有很大作用。

开头的那些电影我真的都看过了

640?wx_fmt=pngTHE END640?wx_fmt=png


640?wx_fmt=gif程序员过关斩将--你为什么还在用存储过程?程序员过关斩将--小小的分页引发的加班血案●程序员修神之路--问世间异步为何物?●程序员修神之路--提高网站的吞吐量?●程序员修神之路--?分布式高并发下Actor模型如此优秀?●程序员过关斩将--论商品促销代码的优雅性●程序员过关斩将--你的面向接口编程一定对吗?●程序员修神之路--高并发下为什么更喜欢进程内缓存●程序员修神之路--高并发优雅的做限流

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/315426.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

URAL - 1732 Ministry of Truth--kmp算法的应用(kmp模板)

题目大意:首先给你第一串字符串(s1),让你删到一些字母,变成下面的字符串(s2),删除的字母会变成字符‘_’; 思路:用kmp算法让s1每一个单词在s1上匹配,从前面开始找,记得匹…

从SQL Server到多数据库,微软数据库迁移全攻略

据了解,截止到 2022,云迁移市场规模将达到 1290 亿美元,云迁移服务市场的利润率达 26.7%。数据库作为企业迁移上云的关键环节,自然成为了各大云厂商关注的重点,除了提供各种各样的云端数据库,迁移服务也是云…

C#并发编程之异步编程(二)

写在前面前面一篇文章介绍了异步编程的基本内容,同时也简要说明了async和await的一些用法。本篇文章将对async和await这两个关键字进行深入探讨,研究其中的运行机制,实现编码效率与运行效率的提升。异步方法描述:使用async修饰符来…

2020牛客暑期多校训练营(第四场)H.Harder Gcd Problem(把1到n分为不互质的数对,找最多的对数)

题目大意:把1到n分为不互质的数对,找最多的对数 思路:先从最大的质因数开始找,因为小的比大的更容易匹配,所以贪心的从大的开始找。 首先要预处理出所以数的最大质因数。 然后根据质因数从大往小找,当质因…

C#规范整理·语言要素

如有不理解,请留言,开始!1. 正确操作字符串拼接字符串一定要考虑使用 StringBuilder ,默认长度为16,实际看情况设置。StringBuilder本质: 是以非托管方式分配内存。同时StringFormat方法 内部也是使用StringBuilder进行字符串格式化。2. 使用…

NetCore服务虚拟化01(集群组件Sodao.Core.Grpc)

一. 起始去年.NetCore2.0的发布,公司决定新项目采用.NetCore开发,当作试验。但是问题在于当前公司内部使用的RPC服务为Thrift v0.9 zookeeper版本,经过个性化定制,支持了异步,但也因为如此,这么多年来一直…

CF741D Arpa’s letter-marked tree and Mehrdad’s Dokhtar-kosh paths 树启 + 状压

传送门 文章目录题意:思路:题意: 思路: 据说是树启的压轴题。 先观察题意,字符有1−221-221−22中,为什么不是1−261-261−26个?显然他就是让你状压的。我们考虑将每条路径上字符状压成statest…

Codeforces Round #610 (Div. 2) D. Enchanted Artifact 交互 + 思维

传送门 文章目录题意:思路:题意: 思路: 首先我们发现如果知道了字符串的长度,我们就可以O(n1)O(n1)O(n1)次询问求解出来。比如当前长度为nnn,那么我们就可以构造出一个长度为nnn的全′a′a′a′字符串&…

Docker+ Kubernetes已成为云计算的主流(二十六)

前言 最近正在抽时间编写k8s的相关教程,很是费时,等相关内容初步完成后,再和大家分享。对于k8s,还是上云更为简单、稳定并且节省成本,因此我们需要对主流云服务的容器服务进行了解,以便更好地…

P4137 Rmq Problem / mex 主席树求mex

传送门 文章目录题意:思路:题意: 思路: 按照值建线段树,每个位置维护值出现的最后位置,让后可持久化一下,当查询[l,r][l,r][l,r]的时候,我们只需要在[1,r][1,r][1,r]中找最后出现位…

《刷新》:拥抱同理心,建立成长型思维

“ 不刷新即死亡”2018年,很多朋友包括博客园里的很多园友都在阅读微软第三任CEO萨提亚纳德拉的这本《刷新》并且发布了很多读后感,但我却一直没有来得及阅读。刚好最近订阅了喜马拉雅的VIP会员,每天上下班时间开始了听书之旅,这里…

Consul初探-集成ocelot

前言由于 Consul 的高可用性、丰富的API、友好的 Web 控制台界面等特点,Consul 的发展非常迅猛,得益于 .NETCore 社区的快速发展和社区成员的贡献,我们现在可以非常方便快速的将 Consul 集成到 .NETCore 中,在 Ocelot 的集成方面也…

2021年广东工业大学第十五届文远知行杯程序设计竞赛(同步赛) H.有多短 思维

传送门 文章目录题意:思路:题意: 思路: 可以发现树的直径起点和终点一定是两个度数为111的点,所以我们可以把kkk平均的分给所有度数为111的点,这样答案就为2∗kcnt\frac{2*k}{cnt}cnt2∗k​。 证如果分配给…

Identity和IdentityServer的区别及联系

关于Identity和IdentityServer初学的时候可能会有一些疑惑(虽然我也不是很精深吧),但是,这里说一下自己关于这两者的一些理解,如有错误,欢迎指正总体上,ASP.NET Core Identity提供了一个用来管理和存储用户账户的框架.IdentitySer…

C#规范整理·集合和Linq

LINQ(Language Integrated Query,语言集成查询)提供了类似于SQL的语法,能对集合进行遍历、筛选和投影。一旦掌握了LINQ,你就会发现在开发中再也离不开它。  开始!前言C#中的集合表现为数组和若干集合类。不管是数组还…

UVA - 11361 Investigating Div-Sum Property(数位dp/记忆化搜索板子)

题目:https://vjudge.net/problem/UVA-11361 思路:数位dp,用记忆化搜索写,dp[pos][i][j][limit] 代表剩余有pos位,每位上的数字和模k 等于i, 当前总数值模k等于j,limit代表限制位。 本题还要注意…

C#并发编程之异步编程(三)

写在前面本篇是异步编程系列的第三篇,本来计划第三篇的内容是介绍异步编程中常用的几个方法,但是前两篇写出来后,身边的朋友总是会有其他问题,所以决定再续写一篇,作为异步编程(一)和异步编程(二)的补充。本篇内容主要…

UVA - 10253 Series-Parallel Networks(递推式、记忆化搜索写法)

题目:UVA-10253 题目翻译(来自蓝书): 串并联网络有两个端点,一个叫源,一个叫汇,递归定义如下: (1) 一条单独的边是串并联网络。 (2)…

C#规范整理·泛型委托事件

基于泛型,我们得以将类型参数化,以便更大范围地进行代码复用。同时,它减少了泛型类及泛型方法中的转型,确保了类型安全。委托本身是一种引用类型,它保存的也是托管堆中对象的引用,只不过这个引用比较特殊&a…

Abp v0.18.0 新版本: MVC Module 启动模板

0.18.0将于近期发布, 本文内容针对于0.18.0版本.MVC模块启动模板可用此模板开发基于模块开发最佳实践和约定的可复用 应用程序模块 . 它同样适用于开发微服务.如何开始?你可以使用ABP CLI创建基于此启动模板的新项目,或者你也可以在入门页面创建并下载项目. 在这里我们使用CLI…