超过响应缓冲区限制_Nginx如何限制并发连接数和连接请求数?

全网最全1500份Java学习资料、500份BAT面试真题:

                       关注公众号,输入“面试题”,获取提取码!

首先讲解两个算发:

35bd07bdd4f0cc4683ff212f2e15dfbf.png

算法思想是:

  • 令牌以固定速率产生,并缓存到令牌桶中;

  • 令牌桶放满时,多余的令牌被丢弃;

  • 请求要消耗等比例的令牌才能被处理;

  • 令牌不够时,请求被缓存。

--------------------------------------------------------------------------------------------------------------------------------------

漏桶算法:

a173d26b28feb93eb556a99c0048fc9c.png

算法思想是:

  • 水(请求)从上方倒入水桶,从水桶下方流出(被处理);

  • 来不及流出的水存在水桶中(缓冲),以固定速率流出;

  • 水桶满后水溢出(丢弃)。

  • 这个算法的核心是:缓存请求、匀速处理、多余的请求直接丢弃。
    相比漏桶算法,令牌桶算法不同之处在于它不但有一只“桶”,还有个队列,这个桶是用来存放令牌的,队列才是用来存放请求的。

从作用上来说,漏桶和令牌桶算法最明显的区别就是是否允许突发流量(burst)的处理,漏桶算法能够强行限制数据的实时传输(处理)速率,对突发流量不做额外处理;而令牌桶算法能够在限制数据的平均传输速率的同时允许某种程度的突发传输。

Nginx按请求速率限速模块使用的是漏桶算法,即能够强行保证请求的实时处理速度不会超过设置的阈值。

------------------------------------------------------------------------------------------------------------------------------------

官方限制ip并发连接和请求有两个模块,不需要重新编译安装,nginx默认已经集成。

limit_req_zone  : 限制请求数

limit_conn_zone   :限制并发连接数

limit_req_zone  参数配置limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;

参数讲解:

$binary_remote_addr:远程的访问地址,此处以二进制的形式记录

zone:=one:10m :设置一个名字为one,大小为10M的缓存空间

rate=10r/s: 限制访问速率,此处设置为每秒接受10个请求(nging里是按ms及时的,此处为s)

limit_req zone=one burst=5 nodelay;

参数讲解:

zone=one:指定使用名字为one的这个缓存空间,若没有设置burst参数,结合上文,此处的配置表示为每秒接受请求10个

burst=5:因为我们的流量并不是向漏桶一样每时每刻都是匀速的,所以为了避免某一时刻出现大规模的流量出现,所以我们添加burst参数,此处配置表示为,设置一个大小为5的缓冲区,当有大量请求(爆发)过来时,访问超过了上面的限制可以先放到缓冲区内。

nodelay:一般是和burst一起使用的,如果设置了nodelay,当访问超过了频次而且缓冲区也满的情况下会直接返回503,如果设置了,则所有大的请求会等待排队。

limit_conn_log_level error;  #定义当服务器由于limint被限制或缓存时,配置写入日志。延迟的记录比拒绝的记录低一个级别。例子:limit_req_log_level notice延迟的的基本是info。limit_conn_status 589;  #当客户端配置得并发数超过了nginx限制的数量后会返回的状态值limit_conn_zone $binary_remote_addr zone=one:10m;limit_conn_zone $server_name zone=perserver:10m;limit_req_zone $binary_remote_addr zone=allips:100m rate=20r/s;server {        listen   8888;        access_log  /var/log/nginx/example_http.log;        location /status {                stub_status on;                access_log off;                allow 127.0.0.1;                allow 10.0.17.27;                allow 10.0.1.142;                deny all;        }        location / {        limit_conn one 5;  #限制每个用户连接到服务器的数量        limit_conn perserver 2000;#限制连接到服务器的总数        limit_req zone=allips burst=200 nodelay;                proxy_http_version 1.1;                proxy_set_header Connection "";                proxy_pass http://test;                #Proxy Settings                proxy_redirect     off;                proxy_set_header   Host             $host;                proxy_set_header   X-Real-IP        $remote_addr;                #proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;                proxy_set_header   X-Forwarded-For  $http_x_forwarded_for;                proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;                proxy_ignore_client_abort  on;                proxy_max_temp_file_size 0;                proxy_connect_timeout      90;                proxy_send_timeout         90;                proxy_read_timeout         90;                proxy_buffer_size          4k;                proxy_buffers              4 32k;                proxy_busy_buffers_size    64k;                proxy_temp_file_write_size 64k;        }}

总结与心得:

1.在设置完上面的参数后,使用jmeter进行压测时会发现,neginx的日志显示没秒的请求数永远是20(前段设置的rate是每秒处理20个),发现burst的参数并没有起作用,后来我把burst参数设置为2000,发现前几秒tps可以达到四五百,但是后面依旧恢复到20.并不向我想的一样,会一直超过20个tps运行先去,所以这个burst的时间也是有限制的, 并不是大流量下一直有用,所以在生产配置的时候一定要想好rate的参数值,因为burst只适用突发的以小段时间。

2.第二次我启用了两个客户端去压测,发现nginx的tps的值达到了40,因此得出结论,此处限制只是针对单个ip,并不是全局配置。两个客户端的压测时间我故意间隔了几分钟,发现出现了两次四五百的tps,后面一样回归到40tps不变。因此burst也是针对ip有限制的。

3,使用了ab进行压测,ab -n 40 -c 20 http://IP/index.html    发现我rate设置的值不管是多少永远只有一个是失败的,貌似rate没有起作用,是一个大坑。

root@in-yeerqianghe:/# ab -n 50 -c 20 http://10.0.18.128/index.htmlThis is ApacheBench, Version 2.3 Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Benchmarking 10.0.18.128 (be patient).....doneServer Software:        nginx/1.12.2Server Hostname:        10.0.18.128Server Port:            80Document Path:          /index.htmlDocument Length:        14 bytesConcurrency Level:      20Time taken for tests:   0.006 secondsComplete requests:      50Failed requests:        49   (Connect: 0, Receive: 0, Length: 49, Exceptions: 0)Non-2xx responses:      49Total transferred:      36063 bytesHTML transferred:       26327 bytesRequests per second:    8579.27 [#/sec] (mean)Time per request:       2.331 [ms] (mean)Time per request:       0.117 [ms] (mean, across all concurrent requests)Transfer rate:          6042.86 [Kbytes/sec] receivedConnection Times (ms)              min  mean[+/-sd] median   maxConnect:        0    1   0.2      1       1Processing:     1    1   0.5      1       2Waiting:        1    1   0.5      1       2Total:          1    2   0.3      2       3Percentage of the requests served within a certain time (ms)  50%      2  66%      2  75%      2  80%      2  90%      3  95%      3  98%      3  99%      3 100%      3 (longest request)

·END·

2905961bf02fd14ce097b2825f6b1aa5.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/534831.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

跨域产生的原因和解决方法_板式家具开料机加工过程产生崩边原因及解决方法...

家具厂数控开料机加工材料的时候会遇到材料崩边的问题,下面我们系统的分析下产生的原因以及解决的办法产生崩边现象的原因?其一是材料本身问题。目前除了实木家具,目前使用较多的就是 板式贴皮的材料,板材的优点就是标准化生产&am…

facade 门面 php,php设计模式之门面(Facade)模式

该模式属于结构型模式什么是门面模式?定义:门面模式(有时候也称为外观模式)是指提供一个统一的接口去访问多个子系统的多个不同的接口,它为子系统中的一组接口提供一个统一的高层接口。外部与子系统的通信是通过一个门面(Facade)对象进行。其…

架构师一般做到多少岁_《迷茫中的我们该如何突破瓶颈——成长为一名架构师》...

如何成长为一名架构师?架构师是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展,为目标客户提供更为全面的需求清单。很多程序员想成为一名架…

php-fpm初始化失败,FPM的初始化 - [ PHP7的内核剖析 ] - 在线原生手册 - php中文网

FPM的初始化接下来看下fpm的启动流程,从main()函数开始://sapi/fpm/fpm/fpm_main.cint main(int argc, char *argv[]){... //注册SAPI:将全局变量sapi_module设置为cgi_sapi_modulesapi_startup(&cgi_sapi_module);... //执行php_module_staru…

360手柄摇杆漂移修复_彻底解决你的Switch手柄摇杆问题,最省钱的完美修复。

我想很多Switch的消费者都遇到了一个问题,用久了之后的手柄失灵,移动不精准,卡顿,自动位移等现象。玩个游戏都非常的糟心。动一下摇杆角色都会自动移动...这些问题的出现主要原因是摇杆内部进了灰尘,才导致各种现象的出…

libzdb 连接mysql,数据库连接池库libzdb使用教程

Libzdb挺强大, 支持Mysql Oracle SQLite PostgreSQL,支持C和C Object C,不能在Window下用(看源码是因为基于Linux线程机制编写实现)。遗憾的是找个资料太费劲,只能到Libzdb官网:点此进入 ,今正看着上面英文…

数值分析方程求根实验matlab,数值分析实验之非线性方程求根(MATLAB实现)

一、实验目的1. 了解一般非线性方程的求根是比较复杂的事情:要讨论(或知道)它有无实根,有多少实根;知道求近似根常用的几种方法,每种方法的特点是什么。2. 用通过二分法(区间半分法)、不动点(也Picard)迭代…

iis php 数据库乱码,如何解决php插入数据乱码问题

php插入数据乱码的解决办法:首先要设置数据表的字符集为utf8;然后修改字符集格式;接着建立字符集为utf-8的数据库;最后通过php mysql语句插入数据即可。mysql数据库乱码问题解决办法我们在使用数据库(mysql)的时候最怕的就是数据库…

vc 通过句柄修改窗口大小_VC应用(1)通过VC修改销售订单行项目的字段

VC是SAP中非常重要的功能,过去多年来,我参与了不少使用VC的项目,我将通过多篇文章介绍VC的一些应用,本文介绍通过VC修改销售订单行项目的字段01 概览在销售订单创建时,对于可配置物料来说,不同的配置可能会…

springboot starter工作原理_98,谈谈SpringBoot的工作原理

对技术的探索,一切源于好奇心,保持好奇心,才能让人更年轻。至今,我们已经有了很多创建SpringBoot项目的经验,比如我们要创建一个支持web开发的项目,我们只需要引入web-starter模块即可。那么,Sp…

精英主义 遗传算法 matlab,遗传算法优化 - osc_lfs4vsih的个人空间 - OSCHINA - 中文开源技术交流社区...

1.遗传算法简介遗传算法是一种基于自然选择和群体遗传机理的搜索算法,它模拟了自然选择和自然遗传过程中的繁殖、杂交和突变现象.再利用遗传算法求解问题时,问题的每一个可能解都被编码成一个“染色体”,即个体,若干个个体构成了群体(所有可能解).在遗传算法开始时,总是随机的产…

php后台管理员登录密码错误,如果后台管理员的密码错误,我该怎么办,还有两种找回密码的方法...

Dedecms是中国著名的网站管理核心. 由于编织梦想简单易用,因此可以进行二次开发,并且可以实现各种网站. 在使用dedecms的过程中,如果忘记了梦想管理后台的密码怎么办?神山个人博客分享了两种修改(重置)管理员密码的方法.1. 下载织…

mac安装多php环境变量配置,Mac如何安装多个php版本

Mac安装多个php版本的方法:首先打开Mac上的终端工具,并确认安装Homebrew;然后安装【php5.5】及对应扩展;最后执行指令【brew unlink php55】删除brew中php的软链即可。Mac安装多个php版本的方法:1、打开Mac上的终端工具…

phpexcel 获取工作簿名称_工作分享 | Excel快速汇总考勤

点击蓝字关注我们每月月底,各位同事把考勤表报到部门后,检查核对再汇总一份总考勤表上报,传统的复制粘贴总是占用不少时间,还容易出错。为提高工作效率,现利用Excel实现考勤快速汇总。01 统一考勤模板,每个…

php进程通讯方式,PHP进程模型、进程通讯方式、进程线程的区别分别有哪些?

PHP进程模型是一个正在执行的程序,可以分配给处理器并由处理器执行的一个实体;PHP进程通讯方式有管道及有名管道,信号,共享内存等;PHP进程线程的区别有进程是资源的分配和调度的一个独立单元,而线程是CPU调…

iphone怎样关闭副屏_小米新设计专利曝光:“Z”型折叠屏手机

折叠屏手机可以说是最近几年的热门话题,虽然并未大面积普及,但已有多家厂商量产上市了旗下的折叠屏手机。同样作为知名厂商的小米,曾在此前展示过旗下的折叠屏手机视频,但并未真正发布。而近日曝光的一份小米旗下专利设计则表明小…

php socket开发斗地主,基于状态机模型的斗地主游戏(NodeJsSocketIO)

1. 系统结构系统考虑使用Nodejs和SocketIo实现服务器端逻辑,前端使用HTML5。2. 逻辑流程1 . 主要逻辑包括用户进入游戏、等待对家进入游戏、游戏过程、结束统计这4个过程。2 . 游戏过程的逻辑具体如下3 . 服务器-客户端通讯逻辑如下3. 客户端界面设计1 . 登录界面2 …

wgs84转经纬度_wgs84经纬度转为cgcs2000平面坐标

航拍测绘中,pos数据多数是wgs84,而GCP坐标是2000或者80坐标。有如下2情况需要转换坐标,1.不同坐标系刺点时,位置相差较远,影响工作效率。2.该软件不支持wgs84转国家2000,比如photoscan。所以需要把pos数据转为跟像控点…

oracle sql last_value,図でイメージするOracle DatabaseのSQL全集 第3回 分析関数

指定したソートキーでの、最初の行の値を求めるのが、First_Value関数。指定したソートキーでの、最後の行の値を求めるのが、Last_Value関数。指定したソートキーでの、(Row_Numberな順位が)n番目の行の値を求めるのが、nth_Value関数となります。Oracle11gR2でnth_Value関数が…

企业信息化投入中咨询服务_全过程工程咨询服务核心价值是什么

建筑行业服务现状传统建设工程的目标、计划、控制都以参与单位个体为主要对象,项目管理的阶段性和局部性割裂了项目的内在联系,导致项目管理存在明显的管理弊端,这种模式已经与国际主流的建设管理模式脱轨。“专而不全”、“多小散”企业的参…