性能工具之emqtt-bench BenchMark 测试示例

文章目录

  • 一、前言
  • 二、典型压测场景
  • 三、机器准备
  • 四、典型压测场景
    • 1、并发连接
    • 2、消息吞吐量测试
      • 2.1 1 对 1(示例)
      • 2.2 多对1(示例)
      • 2.3 1对多(示例)
  • 五、遇到的问题
    • client(): EXIT for {shutdown,eaddrnotavail}
  • 六、附录:调优建议
    • 1、关闭交换分区
    • 2、Linux 操作系统参数
    • 3、TCP 协议栈网络参数
    • 3、测试客户端设置

一、前言

在前面两篇文章中介绍了emqtt-bench工具和MQTT的入门压测,本文示例 emqtt_bench 对 MQTT Broker 做 Beachmark 测试,让大家对 MQTT消息中间 BenchMark 测试有个整体了解,方便平常在压测工作查阅。

  • 如何入门做物联网系统压测?
  • 性能工具之emqtt_bench快速上手

二、典型压测场景

BenchMark 测试以 MQTT 最典型的场景来验证其性能:

  • 并发连接:使用 emqtt-bench 创建海量连接到 MQTT Broker。
  • 消息吞吐量测试:使用 emqtt-bench 在 EMQX 中创建出海量的 Qos0 消息吞吐量,分别模拟发布-订阅 1对1,1对多,多对1这 3 种类型场景。

三、机器准备

共需准备六台服务器,一台为 EMQX Broker,七台为客户端压力机。其中:

EMQX Broker(1台):

  • 系统:CentOS Linux release 7.6.1810 (Core)
  • CPU:8C
  • 内存:8GB
  • 服务端:EMQX 5.1.6
  • 压力机:emqtt-bench-0.4.18-el7-amd64.tar.gz

压力机(6台):

  • 系统:CentOS Linux release 7.6.1810 (Core)
  • CPU:8C
  • 内存:16GB
  • 压力机:emqtt-bench-0.4.18-el7-amd64.tar.gz

四、典型压测场景

1、并发连接

  • 场景名称:MQTT Broker 单节点支持 30 万级设备在线,背景连接 (只连接不发送消息)
  • 描述:模拟 30 万 MQTT TCP 并发连接,并保持在线,测试执行 1 个小时。
  • 期望结果:内网测试成功率为 100%,无连接掉线,CPU 和内存在测试期间表现平稳,没有大幅度的抖动。

拓扑结构如下:
在这里插入图片描述

在6台客户端压力机上同时执行该命令,在每台压力机上启动 5w 的连接数,共计 30w 的连接:

./emqtt_bench conn -h emqx-server -c 50000

客户端压力机执行截图:
在这里插入图片描述

EMQX Broker运行情况:
在这里插入图片描述
在 MQTT Broker 单节点 8C8G的情况,我压到的峰值是30W连接,超过会导致服务崩溃。

2、消息吞吐量测试

注意这里我只具体说明如何设置,并不是实际压测场景数据。

2.1 1 对 1(示例)

  • 场景名称:MQTT Broker 单节点 500 并发连接下支持1000 QoS0 消息吞吐
  • 描述:1000 MQTT TCP 连接, pub 客户端和 sub 客户端数量相同都是 500,每个接收端均订阅一个对应的发送端 pub 主题,每个 pub 客户端每秒发送 2 条 QoS 0、payload 为 256 字节(默认值)的消息。因此消息发送和接收均为每秒 1000,总的消息吞吐达到每秒 2000。测试执行 1 个小时。
  • 期望结果:内网测试成功率为 100%,无消息积压,CPU 和内存在测试期间表现平稳,没有大幅度的抖动。

拓扑结构如下:
在这里插入图片描述

单台sub 客户端压力机:

./emqtt_bench sub -t test_topic_%i -h emqx-server -c 500

参数说明:

  • -s:消息 Payload 的大小;单位:字节。不加默认256字节。
  • -t:topic,%i:表示客户端的序列数
  • -h:要连接的 MQTT 服务器地址
  • -c:客户端总数
[root@ bin]# ./emqtt_bench sub -t test_topic_%i -h emqx-server -c 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s sub total=104 rate=103.28/sec
1s connect_succ total=104 rate=103.28/sec
2s sub total=200 rate=96.00/sec
2s connect_succ total=200 rate=96.00/sec
3s sub total=296 rate=96.00/sec
3s connect_succ total=296 rate=96.00/sec
4s sub total=400 rate=104.00/sec
4s connect_succ total=400 rate=104.00/sec
5s sub total=496 rate=96.00/sec
5s connect_succ total=496 rate=96.00/sec
6s sub total=500 rate=4.00/sec
6s connect_succ total=500 rate=4.00/sec

单台 pub 客户端压力机:

./emqtt_bench pub -t test_topic/%i -h  emqx-server -c 500 -I 500

参数说明:

  • -s:消息 Payload 的大小;单位:字节。不加默认256字节。
  • -t:topic,%i:表示客户端的序列数
  • -h:要连接的 MQTT 服务器地址
  • -c:客户端总数
  • -I:每间隔多少时间创建一个客户端;单位:毫秒
[root@ bin]# ./emqtt_bench pub -t test_topic/%i -h  emqx-server -c 500 -I 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s pub total=160 rate=159.05/sec
1s connect_succ total=104 rate=103.38/sec
2s pub total=512 rate=352.00/sec
2s connect_succ total=200 rate=96.00/sec
3s pub total=1056 rate=544.00/sec
3s connect_succ total=296 rate=96.00/sec
4s pub total=1808 rate=752.00/sec
4s connect_succ total=400 rate=104.00/sec
5s pub total=2752 rate=944.00/sec
5s connect_succ total=496 rate=96.00/sec
6s pub total=3752 rate=1000.00/sec
6s connect_succ total=500 rate=4.00/sec
7s pub total=4752 rate=1000.00/sec
8s pub total=5752 rate=1000.00/sec
9s pub total=6752 rate=1000.00/sec
10s pub total=7752 rate=1000.00/sec
11s pub total=8752 rate=1000.00/sec
12s pub total=9752 rate=1000.00/sec
13s pub total=10752 rate=1000.00/sec
14s pub total=11752 rate=1000.00/sec

在订阅客户端压力机,可看到当前接收消息的速率,类似于:

12s pub total=9752 rate=1000.00/sec

MQTT Broker 运行情况:
在这里插入图片描述

2.2 多对1(示例)

  • 场景名称:并发连接+消息吞吐(上报)
  • 描述:501 MQTT TCP 连接, pub 客户端 500 和 sub 客户端1,接收端均订阅同一个主题,每个 pub 客户端每秒发送 2 条 QoS 0、payload 为 256 字节的消息。因此消息发送和接受均为每秒 1000,总的消息吞吐达到每秒 2000。测试执行 1 个小时。
  • 期望结果:内网测试成功率为 100%,无消息积压,CPU 和内存在测试期间表现平稳,没有大幅度的抖动。

拓扑结构如下:
在这里插入图片描述

单台 sub 客户端压力机:

./emqtt_bench sub -t test_topic -h emqx-server -c 1

参数说明:

  • -s:消息 Payload 的大小;单位:字节。不加默认256字节。
  • -t:topic,%i:表示客户端的序列数
  • -h:要连接的 MQTT 服务器地址
  • -c:客户端总数
[root@ bin]# ./emqtt_bench sub -t test_topic -h emqx-server -c 1
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s sub total=1 rate=0.99/sec
1s connect_succ total=1 rate=0.99/sec

单台 pub 客户端压力机:

./emqtt_bench pub -t test_topic -h  emqx-server -c 500 -I 500

参数说明:

  • -s:消息 Payload 的大小;单位:字节。不加默认256字节。
  • -t:topic,%i:表示客户端的序列数
  • -h:要连接的 MQTT 服务器地址
  • -c:客户端总数
  • -I:每间隔多少时间创建一个客户端;单位:毫秒
root@bin]# ./emqtt_bench pub -t test_topic -h  emqx-server -c 500 -I 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s pub total=160 rate=158.89/sec
1s connect_succ total=104 rate=103.28/sec
2s pub total=496 rate=336.00/sec
2s connect_succ total=184 rate=80.00/sec
3s pub total=1040 rate=544.00/sec
3s connect_succ total=296 rate=112.00/sec
4s pub total=1792 rate=752.00/sec
4s connect_succ total=400 rate=104.00/sec
5s pub total=2736 rate=944.00/sec
5s connect_succ total=496 rate=96.00/sec
6s pub total=3736 rate=1000.00/sec
6s connect_succ total=500 rate=4.00/sec
7s pub total=4736 rate=1000.00/sec
8s pub total=5736 rate=1000.00/sec
9s pub total=6736 rate=1000.00/sec
10s pub total=7736 rate=1000.00/sec
11s pub total=8736 rate=1000.00/sec
12s pub total=9736 rate=1000.00/sec
13s pub total=10736 rate=1000.00/sec
14s pub total=11736 rate=1000.00/sec
15s pub total=12736 rate=1000.00/sec
16s pub total=13736 rate=1000.00/sec
17s pub total=14736 rate=1000.00/sec

MQTT Broker 运行情况(举例):
在这里插入图片描述

2.3 1对多(示例)

  • 场景名称:消息广播
  • 描述:501 MQTT TCP 连接, pub 客户端 1 和 sub 客户端 500,接收端均订阅同一个主题,pub 客户端每秒发送 2 条 QoS 0、payload 为 256 字节的消息。因此消息发送为每秒 2,消息接收为每秒 1000,总的消息吞吐达到每秒 1002。测试执行 1 个小时。
  • 期望结果:内网测试成功率为 100%,无消息积压,CPU 和内存在测试期间表现平稳,没有大幅度的抖动。

拓扑结构如下:
在这里插入图片描述

单台 sub 客户端压力机:

./emqtt_bench sub -t test_topic -h emqx-server -c 500

参数说明:

  • -s:消息 Payload 的大小;单位:字节。不加默认256字节。
  • -t:topic,%i:表示客户端的序列数
  • -h:要连接的 MQTT 服务器地址
  • -c:客户端总数
[root@d bin]# ./emqtt_bench sub -t test_topic -h emqx-server -c 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s sub total=104 rate=103.38/sec
1s connect_succ total=104 rate=103.38/sec
2s sub total=200 rate=96.00/sec
2s connect_succ total=200 rate=96.00/sec
3s sub total=296 rate=96.00/sec
3s connect_succ total=296 rate=96.00/sec
4s sub total=400 rate=104.00/sec
4s connect_succ total=400 rate=104.00/sec
5s sub total=496 rate=96.00/sec
5s connect_succ total=496 rate=96.00/sec
6s sub total=500 rate=4.00/sec
6s connect_succ total=500 rate=4.00/sec

单台 pub 客户端压力机:

./emqtt_bench pub -t test_topic -h  emqx-server -c 1 -I 500

参数说明:

  • -s:消息 Payload 的大小;单位:字节。不加默认256字节。
  • -t:topic,%i:表示客户端的序列数
  • -h:要连接的 MQTT 服务器地址
  • -c:客户端总数
  • -I:每间隔多少时间创建一个客户端;单位:毫秒
[root@ bin]# ./emqtt_bench pub -t test_topic -h  emqx-server -c 1 -I 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s pub total=2 rate=1.99/sec
1s connect_succ total=1 rate=0.99/sec
2s pub total=4 rate=2.00/sec
3s pub total=6 rate=2.00/sec
4s pub total=8 rate=2.00/sec
5s pub total=10 rate=2.00/sec
6s pub total=12 rate=2.00/sec
7s pub total=14 rate=2.00/sec
8s pub total=16 rate=2.00/sec
9s pub total=18 rate=2.00/sec
10s pub total=20 rate=2.00/sec
11s pub total=22 rate=2.00/sec
12s pub total=24 rate=2.00/sec
13s pub total=26 rate=2.00/sec
14s pub total=28 rate=2.00/sec
15s pub total=30 rate=2.00/sec
16s pub total=32 rate=2.00/sec
17s pub total=34 rate=2.00/sec

EMQX Broker 运行情况(举例):

在这里插入图片描述

五、遇到的问题

client(): EXIT for {shutdown,eaddrnotavail}

在压力机连接超过5万的时候,出现了emqtt_bench客户端报错的情况。

EMQX Broker 运行情况:
在这里插入图片描述
单台客户端压力机报错截图:
在这里插入图片描述

通过设置以下内核参数解决:

#允许当前会话 / 进程打开文件句柄数:
ulimit -n 1048576# 可用端口范围:
sudo sysctl -w net.ipv4.ip_local_port_range="1025 65534"

原因分析:
Linux 内核在这个范围内选择一个可用的端口作为本地端口去connect服务器,如果没有可用的端口可用,比如这个范围内的端口都处于如下状态中的一种:

  1. bind使用的端口
  2. 端口处于非TIME_WAIT状态
  3. 端口处于TIME_WAIT状态,但是没有启用tcp_tw_reuse,那么就会返回EADDRNOTAVAIL错误。

一般情况下,出现这个错误可用使用如下方法解决问题:

  1. 增大可选端口的范围,修改/proc/sys/net/ipv4/ip_local_port_range的值。
  2. 开启tcp_tw_reuse,允许使用TIME_WAIT状态的端口。

六、附录:调优建议

当然,我们也可以在 Beachmark 测试前就做好服务器参数调优,可以参考以下的内容。

1、关闭交换分区

Linux 交换分区可能会导致 EMQX Broker 出现不确定的内存延迟,影响系统的稳定性。 建议永久关闭交换分区。

  • 要立即关闭交换分区,执行命令 sudo swapoff -a。
  • 要永久关闭交换分区,在 /etc/fstab 文件中注释掉 swap 行,然后重新启动主机。

2、Linux 操作系统参数

系统全局允许分配的最大文件句柄数:

sysctl -w fs.file-max=2097152
sysctl -w fs.nr_open=2097152
echo 2097152 > /proc/sys/fs/nr_open

允许当前会话 / 进程打开文件句柄数:

ulimit -n 1048576

/etc/sysctl.conf

持久化 fs.file-max 设置到 /etc/sysctl.conf 文件:

fs.file-max = 1048576

/etc/systemd/system.conf 设置服务最大文件句柄数:

DefaultLimitNOFILE=1048576

/etc/security/limits.conf

/etc/security/limits.conf 持久化设置允许用户 / 进程打开文件句柄数:

*      soft   nofile      1048576
*      hard   nofile      1048576

3、TCP 协议栈网络参数

并发连接 backlog 设置:

sysctl -w net.core.somaxconn=32768
sysctl -w net.ipv4.tcp_max_syn_backlog=16384
sysctl -w net.core.netdev_max_backlog=16384

可用端口范围:

sysctl -w net.ipv4.ip_local_port_range='1024 65535'

TCP Socket 读写 Buffer 设置:

sysctl -w net.core.rmem_default=262144
sysctl -w net.core.wmem_default=262144
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216
sysctl -w net.core.optmem_max=16777216sysctl -w net.ipv4.tcp_rmem='1024 4096 16777216'
sysctl -w net.ipv4.tcp_wmem='1024 4096 16777216'

TCP 连接追踪设置:

sysctl -w net.nf_conntrack_max=1000000
sysctl -w net.netfilter.nf_conntrack_max=1000000
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30

TIME-WAIT Socket 最大数量、回收与重用设置:

sysctl -w net.ipv4.tcp_max_tw_buckets=1048576# 注意:不建议开启該设置,NAT 模式下可能引起连接 RST
# sysctl -w net.ipv4.tcp_tw_recycle=1
# sysctl -w net.ipv4.tcp_tw_reuse=1

FIN-WAIT-2 Socket 超时设置:

sysctl -w net.ipv4.tcp_fin_timeout=15

3、测试客户端设置

测试客户端服务器在一个接口上,最多只能创建 65000 连接:

# 可用端口范围:
sysctl -w net.ipv4.ip_local_port_range="500 65535"#允许当前会话 / 进程打开文件句柄数:
echo 1048576 > /proc/sys/fs/nr_open
ulimit -n 1048576

参考资料:

  • 系统调优
  • 使用 eMQTT-Bench 进行性能测试

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/822467.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IDM2024破解版 IDM软件破解注册序列号 idm教程 idm序列激活永久授权 Internet Download Manager网络下载加速神器

你是不是感觉下载东西资源的时候,下载的非常慢,即便是五十兆的光纤依旧慢、是不是想下载网页上的视频但不知如何进行下载……这些问题是否一直在困扰着您,今日小编特意我大家带来了这款IDM 2024破解版。 众所周知,IDM是一款功能强…

ChatGPT实用指南2024

随着ChatGPT技术的演进,越来越多的人开始在工作中利用此工具。以下是关于ChatGPT的实用指南,适合不太熟悉此技术的朋友参考。 一、ChatGPT概述 1. ChatGPT是什么? ChatGPT是基于OpenAI开发的GPT大型语言模型的智能对话工具。它能够通过自然语…

1.8.5 卷积神经网络近年来在结构设计上的主要发展和变迁——Inception-v4 和 Inception-ResNet

1.8.5 卷积神经网络近年来在结构设计上的主要发展和变迁——Inception-v4 和 Inception-ResNet 前情回顾: 1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁——AlexNet 1.8.2 卷积神经网络近年来在结构设计上的主要发展和变迁——VGGNet 1.8.3 卷积神经网络近…

oracle安装后报错ORA-01031: insufficient privileges

1.管理员身份打开CMD,输入net user查看计算机用户 2.键入"net localgroup ora_dba"查看ora_dba下的具体用户 3.键入"net localgroup ora_dba administrator /add"把本计算机用户都添加进ora_dba组下

接口测试——postman

一.下载与安装 https://www.getPostman.com/ 界面导航说明 二.get请求 第一个get请求 批量执行接口请求: 1. 右击run collection 2. 会出现runner标签页 携带参数的GET请求 所谓的查询参数,其实就是URL地址中问号(?)后面的部分…

使用Python进行自动化测试【第163篇—自动化测试】

👽发现宝藏 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 如何使用Python进行自动化测试:测试框架的选择与应用 自动化测试是软件开发过程…

【C++】stack与queue(相关接口介绍、容器适配器、deque、模拟实现)

一、stack 1.1 stack介绍 stack是一种容器适配器,专门用在具有后进先出操作的上下文环境中,其删除只能从容器的一端进行 元素的插入与提取操作。stack是作为容器适配器被实现的,容器适配器即是对特定类封装作为其底层的容器,并提供…

冯喜运:4.17昨日黄金完美区间多空通杀,今日黄金原油分析

【黄金走势分析 】:黄金昨日整体过山车,早盘黄金冲高2392一线后回落,价格在2379-2389区间震荡,午后区间下移,价格在2362-2380继续震荡,晚间价格再次触及2363支撑反弹,连阳上升突破早间高点&…

2024基于PHP开发的微信抖音小程序点餐系统开发源代码案例

最近新开发了一套小程序点餐系统,用户点餐之后可以选择堂食或者是外卖到家,这套系统主要功能有,产品展示,支付系统,外卖配送,用户系统,积分系统,商家管理系统,抽奖系统&a…

SCI一区 | Matlab实现POA-TCN-BiGRU-Attention鹈鹕算法优化时间卷积双向门控循环单元注意力机制多变量时间序列预测

SCI一区 | Matlab实现POA-TCN-BiGRU-Attention鹈鹕算法优化时间卷积双向门控循环单元注意力机制多变量时间序列预测 目录 SCI一区 | Matlab实现POA-TCN-BiGRU-Attention鹈鹕算法优化时间卷积双向门控循环单元注意力机制多变量时间序列预测预测效果基本介绍模型描述程序设计参考…

Python SQL解析和转换库之sqlglot使用详解

概要 Python SQLGlot是一个基于Python的SQL解析和转换库,可以帮助开发者更加灵活地处理和操作SQL语句。本文将介绍SQLGlot库的安装、特性、基本功能、高级功能、实际应用场景等方面。 安装 安装SQLGlot库非常简单,可以使用pip命令进行安装: pip install sqlglot安装完成后…

【中级软件设计师】上午题08-UML(下):序列图、通信图、状态图、活动图、构件图、部署图

上午题08-UML 1 序列图2 通信图3 状态图3.1 状态和活动3.2 转换和事件 4 活动图5 构件图(组件图)6 部署图 UML图总和 静态建模:类图、对象图、用例图 动态建模:序列图(顺序图,时序图)、通信图&a…

Python爬虫入门教程!

什么是爬虫? 爬虫就是自动获取网页内容的程序,例如搜索引擎,Google,Baidu 等,每天都运行着庞大的爬虫系统,从全世界的网站中爬虫数据,供用户检索时使用。 爬虫流程 其实把网络爬虫抽象开来看,它…

数据相关术语、英文翻译以及定义汇总看这里!

随着数字化时代的快速发展,越来越多的小伙伴认识到了数据的作用性。今天我们小编就给大家汇总了部分数据相关术语以及定义,希望对大家有用哦! 数据相关术语、英文翻译以及定义汇总看这里!(来源于网络,仅供参…

LeetCode 349.两个数组的交集(HashSet的使用)

给定两个数组 nums1 和 nums2 ,返回 它们的 交集 。输出结果中的每个元素一定是 唯一 的。我们可以 不考虑输出结果的顺序 。 示例 1: 输入:nums1 [1,2,2,1], nums2 [2,2] 输出:[2]示例 2: 输入:nums1 …

React + Ts + Vite + Antd 项目搭建

1、创建项目 npm create vite 项目名称 选择 react 选择 typescript 关闭严格模式 建议关闭严格模式,因为不能自动检测副作用,有意双重调用。将严格模式注释即可。 2、配置sass npm install sass 更换所有后缀css为sass vite.config.ts中注册全局样式 /…

2023年图灵奖颁发给艾维·维格森(Avi Wigderson),浅谈其计算复杂性理论方面做出的重要贡献

Avi Wigderson是一位以色列计算机科学家,他在计算复杂性理论方面做出了重要的贡献,并对现代计算产生了深远的影响。 Wigderson的主要贡献之一是在证明计算复杂性理论中的基本问题的困难性方面。他证明了许多经典问题的困难性,如图论中的图同构…

LeetCode: 209 长度最小的子数组

209. 长度最小的子数组 给定一个含有 n 个正整数的数组和一个正整数 target 。 找出该数组中满足其总和大于等于 target 的长度最小的 连续子数组 [numsl, numsl1, ..., numsr-1, numsr] ,并返回其长度。如果不存在符合条件的子数组,返回 0 。 示例 1…

【QT教程】QT6 Web性能优化

QT6 Web性能优化 使用AI技术辅助生成 QT界面美化视频课程 QT性能优化视频课程 QT原理与源码分析视频课程 QT QML C扩展开发视频课程 免费QT视频课程 您可以看免费1000个QT技术视频 免费QT视频课程 QT统计图和QT数据可视化视频免费看 免费QT视频课程 QT性能优化视频免费看 免费…

vue 常用的日历排班,带农历显示组件(2024-04-16)

显示当前月日历组件,里面带农历或节日显示 后面可以丰富一些国家法定节假期的业务需求 代码 js-calendar.js 文件 var lunarInfo [0x04bd8, 0x04ae0, 0x0a570, 0x054d5, 0x0d260, 0x0d950, 0x16554, 0x056a0, 0x09ad0, 0x055d2, //1900-19090x04ae0, 0x0a5b6, 0…