emqx 负载均衡配置 HAProxy 健康检查 轮询 haship

HAProxy配置文件

配置文件: 

/etc/haproxy/haproxy.cfg 

负载均衡参数: 

轮询方式轮询注解
roundrobin基于权重进行轮叫调度的算法,在服务器的性能分布比较均匀时,这是一种最公平合理,常用的算法。此算法使用较为频繁。
static-rr基于权重进行轮叫调度的算法,不过此算法为静态方法,在运行时调整期服务器权重不会生效,需要重启haproxy服务生效
source基于请求源IP的算法。此算法先对请求的源IP进行hash运算,可以使同一个客户端IP的请求始终被转发到某台特定的后端服务器
leastconn数据库负载均衡mysql+haproxy的常用轮询方式,不适用于http。此算法会将新的连接请求转发具有最少连接数目的后端服务器。
uri / uri_param / hdr根据url路径进行转发匹配后端服务器。hdr根据http头部进行转发

默认配置:

defaults log  global		#集成全局配置中的日志格式mode http   		#所处理的类别(#7层 http;4层tcp) tcp模式一般用于,SSL,SSH,SMTP,MySQL等应用option  httplog   	#日志类别http日志格式option  http-server-close  #每次请求完毕后主动关闭http通道option  dontlognull  	   # 不记录健康检查的日志信息option  forwardfor   except 127.0.0.1	如果后端服务器需要获得客户端真实ip需要配置的参数可以从http  header中获得客户端ipoption  redispatch 	#serverID对应的服务器挂掉后,强制定向到其他健康的服务器option  abortonclose  	#当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接maxconn 20480   	#最大连接数stats  refresh  30   统计页面刷新间隔retries  3    3次连接失败就认为该服务不可用balance  roundrobin 		  # rr 轮询负载均衡#balance  source		 #  source 轮询负载均衡#balance  leastconn 	 # 最小连接的负载均衡方式,推荐在Mysql、LDAP等情况下使用timeout connect  5000   连接超时timeout client  50000   客户端超时timeout server 50000   后端服务器超时timeout  check  2000  设置对后端服务器的检测超时时间,默认单位是毫秒timeout http-request     10s  请求报文的超时时长

HAproxy轮询方式+配置文件详解_haproxy轮询模式-CSDN博客 

负载均衡算法

静态算法

按照事先定义好的规则轮询公平调度,不关心后端服务器的当前负载、链接数和响应速度等,且无法实时修改权重,只能靠重启HAProxy生效。

static-rr

基于权重的轮询调度,不支持权重的运行时调整及后端服务器慢启动(慢启动是新增加的服务器会逐渐增加请求数,而不会一次性添加流量),其后端主机数量没有限制。

只能通过修改配置文件修改权重,修改完重启服务或者reload

动态算法

有 roundrobin,source,leastconn。基于后端服务器状态进行调度适当调整,比如优先调度至当前负载较低的服务器,且权重可以在haproxy运行时动态调整无需重启。

roundrobin

基于权重的轮询动态调度算法,支持权重的运行时调整,不完全等于lvs中的rr轮训模式,HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数),其每个后端backend中(每个listen)最多支持4095个real server,roundrobin为默认调度算法,且支持对real server权重动态调整。 

source

源地址hash,基于用户源地址hash并将请求转发到后端服务器,默认为静态即取模方式,但是可以通过hash-type支持的选项更改,后续同一个源地址请求将被转发至同一个后端web服务器,比较适用于session保持/缓存业务等场景。 用户第一次请求会通过hash被分配到一台服务器,第二次请求则也会通过对用户的源地址做hash运算,然后对后端服务器的总权重进行取模,根据取得的模,分配到对应权重的后端服务器,以此实现会话保持(取模的得数是不可能等于总权重的,如果取模的得数等于总权重,则会进1,就会取不到模,所以取模的得数只会小于总权重)。 源地址有两种转发客户端请求到后端服务器的服务器选取计算方式,分别是取模法和一致性hash

leastconn

leastconn加权的最少连接的动态,支持权重的运行时调整和慢启动,即当前后端服务器连接最少的优先调度(新客户端连接),比较适合长连接的场景使用,比如MySQL等场景。 

haproxy调度算法详解一

haproxy配置文件详解

HAProxy 和 Nginx 负载均衡

HAProxy专门部署在一台机器上,用来分发请求到后面的emqx服务所在的机器。

三、使用负载均衡LB

使用HAProxy或Nginx 作为 LB 部署 EMQ X 集群。这里用的HAProxy做为负载均衡:

1、安装HAProxy

       sudo apt-get install haproxy

2、编辑配置文件

       sudo vim /etc/haproxy/haproxy.cfg

 

用 HAProxy 负载均衡 EMQX 集群 | EMQX文档 

健康检查三种方式

1、通过监听端口进行健康检测 。这种检测方式,haproxy只会去检查后端server的端口,并不能保证服务的真正可用。

2、通过URI获取进行健康检测 。检测方式,是用过去GET后端server的的web页面,基本上可以代表后端服务的可用性。 

3、通过request获取的头部信息进行匹配进行健康检测 。这种检测方式,则是基于高级,精细的一些监测需求。通过对后端服务访问的头部信息进行匹配检测。 

HAproxy健康检查的三种方式 

Nginx健康检查 

Nginx健康检查可以用于监测后端服务的运行状态,一旦发现后端服务不正常,将自动切换到其它正常的后端服务,保证整个服务的可用性和稳定性。下面是一个配置Nginx健康检查的例子,并详细说明各参数的作用。

upstream backend {server backend1.example.com:8080 weight=5 max_fails=3 fail_timeout=30s;server backend2.example.com:8080 weight=10 max_fails=3 fail_timeout=30s;server backend3.example.com:8080 weight=10 max_fails=3 fail_timeout=30s;check interval=3000 rise=2 fall=3 timeout=2000 type=http;
}
  1. upstream backend:定义一个名为backend的upstream,表示后端服务的集群。
  2. server backend1.example.com:表示一个后端服务节点,8080为服务端口,weight=5表示该节点的权重为5,默认为1,max_fails=3表示最大连接失败次数为3,即如果该节点失败3次,将被视为down掉,fail_timeout=30s表示下线时间为30秒,30秒后尝试重新上线,如果成功则恢复服务,如果失败则继续下线。
  3. check interval=3000:表示检查间隔为3秒,默认为5秒。
  4. rise=2:表示如果在2次连续检查中都返回正常(http返回码为200),则将该节点的失败次数清零,即认为该节点恢复正常。
  5. fall=3:表示如果在3次连续检查中都返回失败(http返回码非200),则将该节点的失败次数加1,如果该节点失败次数达到max_fails,则认为该节点down掉并下线。
  6. timeout=2000:表示检查超时时间为2秒,默认为1秒。
  7. type=http:表示检查类型为http,其他类型还包括tcp、ssl、http_keepalive等。

​通过Nginx健康检查,可以自动发现后端服务的故障节点,并将请求转发到正常的服务节点,提高了整个服务的可用性和稳定性。

Nginx被动健康检查和主动健康检查

1.被动健康检查

 Nginx自带有健康检查模块:ngx_http_upstream_module,可以做到基本的健康检查。Nginx只有当有访问时后,才发起对后端节点探测。如果本次请求中,节点正好出现故障,Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发,而且自带模块无法做到预警。

2.主动健康检查(需使用第三方模块) 

主动地健康检查,nignx定时主动地去ping后端的服务列表,当发现某服务出现异常时,把该服务从健康列表中移除,当发现某服务恢复时,又能够将该服务加回健康列表中。淘宝有一个开源的实现nginx_upstream_check_module模块
官网:http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

3.集成第三方模块部署 

 下载nginx_upstream_check_module模块,修改配置文件,让nginx_upstream_check_module模块生效,重载nginx。

udp反向代理时健康检查的问题,另一位大神在上面nginx_upstream_check_module的基础上作了修改,实现了在第4层的代理tcp和udp时的健康检查。

Nginx被动健康检查和主动健康检查

访问MQTT健康检查地址

使用NGINX Plus进行主动MQTT健康检查教程_nginx mqtt location-CSDN博客 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/45383.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【银河麒麟高级服务器操作系统】数据中心系统异常卡死分析处理建议

了解银河麒麟操作系统更多全新产品,请点击访问:https://product.kylinos.cn 1.服务器环境以及配置 【机型】浪潮NF5280M5 处理器: Intel 内存: 1T 【内核版本】 4.19.90-24.4.v2101.ky10.x86_64 【OS镜像版本】 银河麒麟…

PDF 中图表的解析探究

PDF 中图表的解析探究 0. 引言1. 开源方案探究 0. 引言 一直以来,对文档中的图片和表格处理都非常有挑战性。这篇文章记录一下最近工作上在这块的探究。图表分为图片和表格,这篇文章主要记录了对表格的探究。还有,我个人主要做日本项目&…

MFC Ribbon菜单 - 中英文实时切换方法

简介 最近在搞一个老外的项目,本来谈的好好的,纯英文界面。项目接近尾声了,又提出了中英文实时切换的新需求,没办法就只能想办法,毕竟客户最大嘛。 实现方法 还好本来的ribbon英文菜单不复杂,就用纯C编码…

Android上如何使用perfetto分析systrace

Android上如何使用perfetto分析systrace Perfetto 是一个用于性能分析的工具,提供了对 Android 系统内部工作情况的详细视图。它可以用来替代传统的 systrace 工具,提供更加全面的性能分析功能。以下是如何使用 Perfetto 分析 Systrace 数据的详细指南&…

粉丝问我:大龄干运维还有出路吗?

这兄弟: 18年参加培训班,培训的java,结果学的不好。又去机构学了linux云计算,去做了运维,19年去一家网络公司做了idc,可以说这两年自己不努力,什么都没学到,基本等于零。 我现在就…

Python轻松添加行编号到Word文档及删除行编号

Word文档中的行号(行编号)功能是对于精细化的文档编辑以及解析非常有用的功能。添加行号能够极大地提升文档的可读性和定位效率,尤其是在需要引用特定行内容时,为读者提供了清晰的指引,避免了不必要的混淆和误解。然而…

Java BigInteger 类

目录 BigInteger 1. 如何获取一个BigInteger类型的对象? (1)构造方法 (2)静态方法 2. 常用方法 BigInteger 可以用来表示很大很大的数,有多大都可以。通过创建对象调用相应的方法。详见:…

【深度学习】本地运行 GraphRAG + Ollama

随着人工智能不断革新各个行业,对高效且经济的解决方案的需求日益增长。GraphRAG Local Ollama 应运而生,它是一款强大的 Microsoft GraphRAG 改进版,集成了使用 Ollama 下载的本地模型。这种改进让您可以告别昂贵的 OpenAPI 模型&#xff0c…

45、tomcat+课后实验

tomcat 1、tomcat tomcat和php一样,都是用来处理动态页面的。 tomcat也可以作为web应用服务器,开源的。 php .php tomcat .jsp nginx .html tomcat 是用Java代码写的程序,运行的是Java的web应用程序。 tomcat的特点和功能&#xff1a…

前端调试技巧(npm Link,vscode调试,浏览器调试等)

Npm Link 功能: 在本地开发npm模块的时候,我们可以使用npm link命令,将npm 模块链接到对应的运行项目中去,方便地对模块进行调试和测试 断点调试 vscode调试 Debug Vue2 Project 目标:在VSCode中调试项目代码…

DockerFile文件解析

DockerFile 要研究自己如何做一个镜像,而且微服务项目打包上云部署,Docker就是最方便的。 微服务打包成镜像,任何装了Docker的地方,都可以下载使用,极其的方便。 流程:开发应用>DockerFile>打包为…

vue3 高德地图api加载热力图及关闭 JSAPI v1.4.15

高德地图api加载天地图和2D热力图及关闭 JSAPI v1.4.15 地图API地址 [http://lbs.tianditu.gov.cn/server/MapService.html](http://lbs.tianditu.gov.cn/server/MapService.html)高德地图2D热力图地址 [https://lbs.amap.com/demo/loca-api/demos/loca_heatmap/loca_heatmap_…

负载均衡-轮询-两种简易实现

1、描述 下游可用的服务器目前有5个(node),设计一个方法,方法没有任何参数,采用轮询的方式返回其中一个node; 2、使用环形链表 每次取下一个node即可。注意:需要保证线程安全! // …

安泰高压功率放大器主要应用场景有哪些

高压功率放大器是一种专门设计用于处理高电压信号并提供大功率输出的设备。它们在各种领域中发挥着重要作用,以下是它们的主要应用场景和特点。 一、医疗设备 医疗成像:高压功率放大器在医疗成像设备中扮演关键角色,例如X射线设备和CT扫描仪。…

C++语法提高B-hook机制

Hook 机制 Hook 机制 是一种用于拦截和处理系统事件或函数调用的方法。通过 Hook 机制,程序可以在特定的事件发生时或函数调用之前、之后进行自定义操作。Hook 机制广泛应用于调试、性能监控、安全审计、功能扩展等领域。 Hook 机制的类型及实现方法 1. 消息 Hoo…

【启明智显分享】乐鑫HMI方案4.3寸触摸串口屏应用于称重测力控制仪表

称重测力控制仪表是将称重传感器信号(或再通过重量变送器)转换为重量数字显示,并可对重量数据进行传输、储存、统计、打印的电子设备,常用于工农业生产中的自动化配料,称重,以提高生产效率。随着工业化的发…

STM32F103RC使用HAL库对FLASH的擦除与写入

目录 STM32F103RC使用HAL库对FLASH的擦除与写入(代码模块) 一、芯片FLASH简介 二、FALSH的擦除 三、FALSH的写入 STM32F103RC使用HAL库对FLASH的擦除与写入(代码模块) 一、芯片FLASH简介 stm32f103rc芯片的flash大小为256KB&…

TC4056A 1A线性锂离子电池充电器芯片IC

产品描述 TC4056A是一款完整的单节锂离子电池采用恒定电流/恒定电压线性充电器。其底部带有散热片的ESOP8/DIP8封装与较少的外部元件数目使得TC4056A成为便携式应用的理想选择TC4056A可以适合USB电源和适配器电源工作。 由于采用了内部PMOSFET架构,加…

《ElementUI/Plus 基础知识》el-tree 之修改可拖拽节点的高亮背景和线

前言 收到需求,PM 觉得可拖拽节点的高亮背景和线样式不明显!CSS 样式得改! 注意:下述方式适用于ElementUI el-tree 和 ElementPlus el-tree! 修改 拖拽被叠加节点的背景色和文字 关键类名 is-drop-inner .el-tree…

从机器语言到现代编程语言的飞跃

在人类追求自动化与智能化的道路上,编程语言作为连接人类思维与计算机执行能力的桥梁,经历了从原始到现代的巨大飞跃。本文将带您穿越时间的长河,探索编程语言从最初的机器语言到如今多样化、高级化的演变历程。 机器语言与汇编语言&#xf…