超过响应缓冲区限制_Nginx如何限制并发连接数和连接请求数?

全网最全1500份Java学习资料、500份BAT面试真题:

                       关注公众号,输入“面试题”,获取提取码!

首先讲解两个算发:

35bd07bdd4f0cc4683ff212f2e15dfbf.png

算法思想是:

  • 令牌以固定速率产生,并缓存到令牌桶中;

  • 令牌桶放满时,多余的令牌被丢弃;

  • 请求要消耗等比例的令牌才能被处理;

  • 令牌不够时,请求被缓存。

--------------------------------------------------------------------------------------------------------------------------------------

漏桶算法:

a173d26b28feb93eb556a99c0048fc9c.png

算法思想是:

  • 水(请求)从上方倒入水桶,从水桶下方流出(被处理);

  • 来不及流出的水存在水桶中(缓冲),以固定速率流出;

  • 水桶满后水溢出(丢弃)。

  • 这个算法的核心是:缓存请求、匀速处理、多余的请求直接丢弃。
    相比漏桶算法,令牌桶算法不同之处在于它不但有一只“桶”,还有个队列,这个桶是用来存放令牌的,队列才是用来存放请求的。

从作用上来说,漏桶和令牌桶算法最明显的区别就是是否允许突发流量(burst)的处理,漏桶算法能够强行限制数据的实时传输(处理)速率,对突发流量不做额外处理;而令牌桶算法能够在限制数据的平均传输速率的同时允许某种程度的突发传输。

Nginx按请求速率限速模块使用的是漏桶算法,即能够强行保证请求的实时处理速度不会超过设置的阈值。

------------------------------------------------------------------------------------------------------------------------------------

官方限制ip并发连接和请求有两个模块,不需要重新编译安装,nginx默认已经集成。

limit_req_zone  : 限制请求数

limit_conn_zone   :限制并发连接数

limit_req_zone  参数配置limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;

参数讲解:

$binary_remote_addr:远程的访问地址,此处以二进制的形式记录

zone:=one:10m :设置一个名字为one,大小为10M的缓存空间

rate=10r/s: 限制访问速率,此处设置为每秒接受10个请求(nging里是按ms及时的,此处为s)

limit_req zone=one burst=5 nodelay;

参数讲解:

zone=one:指定使用名字为one的这个缓存空间,若没有设置burst参数,结合上文,此处的配置表示为每秒接受请求10个

burst=5:因为我们的流量并不是向漏桶一样每时每刻都是匀速的,所以为了避免某一时刻出现大规模的流量出现,所以我们添加burst参数,此处配置表示为,设置一个大小为5的缓冲区,当有大量请求(爆发)过来时,访问超过了上面的限制可以先放到缓冲区内。

nodelay:一般是和burst一起使用的,如果设置了nodelay,当访问超过了频次而且缓冲区也满的情况下会直接返回503,如果设置了,则所有大的请求会等待排队。

limit_conn_log_level error;  #定义当服务器由于limint被限制或缓存时,配置写入日志。延迟的记录比拒绝的记录低一个级别。例子:limit_req_log_level notice延迟的的基本是info。limit_conn_status 589;  #当客户端配置得并发数超过了nginx限制的数量后会返回的状态值limit_conn_zone $binary_remote_addr zone=one:10m;limit_conn_zone $server_name zone=perserver:10m;limit_req_zone $binary_remote_addr zone=allips:100m rate=20r/s;server {        listen   8888;        access_log  /var/log/nginx/example_http.log;        location /status {                stub_status on;                access_log off;                allow 127.0.0.1;                allow 10.0.17.27;                allow 10.0.1.142;                deny all;        }        location / {        limit_conn one 5;  #限制每个用户连接到服务器的数量        limit_conn perserver 2000;#限制连接到服务器的总数        limit_req zone=allips burst=200 nodelay;                proxy_http_version 1.1;                proxy_set_header Connection "";                proxy_pass http://test;                #Proxy Settings                proxy_redirect     off;                proxy_set_header   Host             $host;                proxy_set_header   X-Real-IP        $remote_addr;                #proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;                proxy_set_header   X-Forwarded-For  $http_x_forwarded_for;                proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;                proxy_ignore_client_abort  on;                proxy_max_temp_file_size 0;                proxy_connect_timeout      90;                proxy_send_timeout         90;                proxy_read_timeout         90;                proxy_buffer_size          4k;                proxy_buffers              4 32k;                proxy_busy_buffers_size    64k;                proxy_temp_file_write_size 64k;        }}

总结与心得:

1.在设置完上面的参数后,使用jmeter进行压测时会发现,neginx的日志显示没秒的请求数永远是20(前段设置的rate是每秒处理20个),发现burst的参数并没有起作用,后来我把burst参数设置为2000,发现前几秒tps可以达到四五百,但是后面依旧恢复到20.并不向我想的一样,会一直超过20个tps运行先去,所以这个burst的时间也是有限制的, 并不是大流量下一直有用,所以在生产配置的时候一定要想好rate的参数值,因为burst只适用突发的以小段时间。

2.第二次我启用了两个客户端去压测,发现nginx的tps的值达到了40,因此得出结论,此处限制只是针对单个ip,并不是全局配置。两个客户端的压测时间我故意间隔了几分钟,发现出现了两次四五百的tps,后面一样回归到40tps不变。因此burst也是针对ip有限制的。

3,使用了ab进行压测,ab -n 40 -c 20 http://IP/index.html    发现我rate设置的值不管是多少永远只有一个是失败的,貌似rate没有起作用,是一个大坑。

root@in-yeerqianghe:/# ab -n 50 -c 20 http://10.0.18.128/index.htmlThis is ApacheBench, Version 2.3 Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Benchmarking 10.0.18.128 (be patient).....doneServer Software:        nginx/1.12.2Server Hostname:        10.0.18.128Server Port:            80Document Path:          /index.htmlDocument Length:        14 bytesConcurrency Level:      20Time taken for tests:   0.006 secondsComplete requests:      50Failed requests:        49   (Connect: 0, Receive: 0, Length: 49, Exceptions: 0)Non-2xx responses:      49Total transferred:      36063 bytesHTML transferred:       26327 bytesRequests per second:    8579.27 [#/sec] (mean)Time per request:       2.331 [ms] (mean)Time per request:       0.117 [ms] (mean, across all concurrent requests)Transfer rate:          6042.86 [Kbytes/sec] receivedConnection Times (ms)              min  mean[+/-sd] median   maxConnect:        0    1   0.2      1       1Processing:     1    1   0.5      1       2Waiting:        1    1   0.5      1       2Total:          1    2   0.3      2       3Percentage of the requests served within a certain time (ms)  50%      2  66%      2  75%      2  80%      2  90%      3  95%      3  98%      3  99%      3 100%      3 (longest request)

·END·

2905961bf02fd14ce097b2825f6b1aa5.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/534831.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Php公钥加密data是空,php 生成加密公钥加密私钥实例详解

php 生成加密公钥加密私钥实例详解生成公钥私钥 win下必须要openssl.cof支持 liunx一般已自带安装$config array(//"digest_alg" > "sha512","private_key_bits" > 512, //字节数 512 1024 2048 4096 等"private_key_type" >…

python句柄无效_subprocess.Popen 运行windows命令出现“句柄无效”报错的解决方法

【代码笔记】iOS-关于UIFont的一些define一,效果图. 二,工程图. 三,代码. RootViewController.h #import interface RootViewController ...JQuery Datatables Dom 和 Language 参数详细说明http://linleizi.iteye.com/blog/2086435 *********************************** Data …

java日期函数精确到日,java日期时间函数分享

前言:对于新手程序员的我来说,写业务代码是现在的日常,在此过程中经常需要对日期时间进行处理,我挑了几个较有用的日期处理函数分享给大家。正文:1、将某格式的时间字符串转化成毫秒时间戳表示的字符串:pub…

python变量区变量保存与加载_python – Flask:使用全局变量将数据文件加载到内存中...

我有一个大的XML文件,它被打开,加载到内存中,然后由Python类关闭.简化示例如下所示:class Dictionary():def __init__(self,filename):f open(filename)self.contents f.readlines()f.close()def getDefinitionForWord(self,word):# returns a word,using etree p…

php 顺丰接口实例,顺丰BSP接口PHP开发注意事项

1&#xff0c;xml报文不用附加"<?xml version"1.0" encoding"UTF-8" ?>"&#xff0c;不支持&#xff0c;会报格式错误。2&#xff0c;提交服务器时要重点注意。直接使用curl方式的&#xff0c;一定要把数据做http_build_query&#xff0…

跨域产生的原因和解决方法_板式家具开料机加工过程产生崩边原因及解决方法...

家具厂数控开料机加工材料的时候会遇到材料崩边的问题&#xff0c;下面我们系统的分析下产生的原因以及解决的办法产生崩边现象的原因&#xff1f;其一是材料本身问题。目前除了实木家具&#xff0c;目前使用较多的就是 板式贴皮的材料&#xff0c;板材的优点就是标准化生产&am…

facade 门面 php,php设计模式之门面(Facade)模式

该模式属于结构型模式什么是门面模式&#xff1f;定义&#xff1a;门面模式(有时候也称为外观模式)是指提供一个统一的接口去访问多个子系统的多个不同的接口&#xff0c;它为子系统中的一组接口提供一个统一的高层接口。外部与子系统的通信是通过一个门面(Facade)对象进行。其…

架构师一般做到多少岁_《迷茫中的我们该如何突破瓶颈——成长为一名架构师》...

如何成长为一名架构师&#xff1f;架构师是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展&#xff0c;为目标客户提供更为全面的需求清单。很多程序员想成为一名架…

php-fpm初始化失败,FPM的初始化 - [ PHP7的内核剖析 ] - 在线原生手册 - php中文网

FPM的初始化接下来看下fpm的启动流程&#xff0c;从main()函数开始&#xff1a;//sapi/fpm/fpm/fpm_main.cint main(int argc, char *argv[]){... //注册SAPI:将全局变量sapi_module设置为cgi_sapi_modulesapi_startup(&cgi_sapi_module);... //执行php_module_staru…

python 高级语言特性_Pytohon学习笔记(一)Python编程语言历史及特性

Python编程语言历史及特性编程语言:用户:问题空间计算机: 解决问题解空间抽象机器代码-->微码编程-->高级语言shell编程:ptyhon控制语言:胶水语言适合领域:web,Django字节码:bytecode面向过程:以指令为中心&#xff0c;由指令处理数据 如何组织代码结局问题面向对象:以数…

php laravel 返回统一格式,封装的统一的Laravel响应类,返回数据类

封装的统一的Laravel返回数据类namespace App\Library;class Response{const OK 0;const BAD_REQUEST 1000;const PARAM_ERROR 1001;const SQL_ERROR 4000;const FORBIDDEN 4003;const SERVER_ERROR 5000;public static $errMsg [self::BAD_REQUEST > 请求错误,self:…

python3连接数据库步骤_Python3连接Mysql8.0遇到的问题及处理步骤

最近在使用Python开发系统&#xff0c;需连接mysql数据库&#xff0c;我用的是Python3连接MySQL8.0&#xff0c;其中老是报错以下问题&#xff1a;网上给了各种各样的方法&#xff0c;大多是通过各种方式修改密码。最简单的方法是更换了root密码的认证方式解决的&#xff0c;新…

360手柄摇杆漂移修复_彻底解决你的Switch手柄摇杆问题,最省钱的完美修复。

我想很多Switch的消费者都遇到了一个问题&#xff0c;用久了之后的手柄失灵&#xff0c;移动不精准&#xff0c;卡顿&#xff0c;自动位移等现象。玩个游戏都非常的糟心。动一下摇杆角色都会自动移动...这些问题的出现主要原因是摇杆内部进了灰尘&#xff0c;才导致各种现象的出…

libzdb 连接mysql,数据库连接池库libzdb使用教程

Libzdb挺强大&#xff0c; 支持Mysql Oracle SQLite PostgreSQL&#xff0c;支持C和C Object C&#xff0c;不能在Window下用(看源码是因为基于Linux线程机制编写实现)。遗憾的是找个资料太费劲&#xff0c;只能到Libzdb官网&#xff1a;点此进入 &#xff0c;今正看着上面英文…

请给出计算231-1的python表达式_【填空题】计算2 32 -1的Python表达式可以书写为____...

【填空题】计算2 32 -1的Python表达式可以书写为____更多相关问题【判断题】军队和国防建设指导思想实行战略转变的实质是:从立足于早打、大打、打核战争的临战准备状况,转到和平时期建设的轨道上来。【单选题】社会学家认为,一门专业必须具有专业特征,护理专业的特征是( )A. 满…

数值分析方程求根实验matlab,数值分析实验之非线性方程求根(MATLAB实现)

一、实验目的1&#xff0e; 了解一般非线性方程的求根是比较复杂的事情&#xff1a;要讨论(或知道)它有无实根&#xff0c;有多少实根&#xff1b;知道求近似根常用的几种方法&#xff0c;每种方法的特点是什么。2&#xff0e; 用通过二分法(区间半分法)、不动点(也Picard)迭代…

python多线程输出_萌新python多线程

刚开始学习多线程的时候闹了个笑话在使用python线程打印东西的时候发现自己定的的线程数据没有打印,找半天都没有找到问题,也没好意思问,自己憋了半天才发现问题!代码如下:import threadingdef SayHi():print(say hi !)def SeyHello():print(say hello !)print(start)threading…

php5.6扩展编写,php 5.6版本中编写一个PHP扩展的简单示例

php 5.6版本中编写一个PHP扩展的简单示例这篇文章主要介绍了php 5.6版本中编写一个PHP扩展的简单示例,本文给出扩展实现代码、编译方法、配置方法和使用例子等内容,需要的朋友可以参考下有时候在php本身没有满足需求的api时候&#xff0c;需要自己写相应的扩展&#xff0c;扩展…

iis php 数据库乱码,如何解决php插入数据乱码问题

php插入数据乱码的解决办法&#xff1a;首先要设置数据表的字符集为utf8&#xff1b;然后修改字符集格式&#xff1b;接着建立字符集为utf-8的数据库&#xff1b;最后通过php mysql语句插入数据即可。mysql数据库乱码问题解决办法我们在使用数据库(mysql)的时候最怕的就是数据库…

python 文档字符串_新款Python文档字符串生成器来了

又一款懒人神器问世了&#xff1a;Visual Studio Code的扩展&#xff0c;基于CodeBERT的Python文档字符串生成器。看来现在&#xff0c;这群偷「懒」的程序员们连文档字符串都不想自己写了。基于CodeBERT的生成器跟正常的DocStrings用法一样&#xff0c;你只需要输入三引号「“…