【bug排查解决】现象级延迟8-10s

业务背景

最近公司在做物联网相关的项目,调试过程中发现好玩的bug。
首先一个数据采集场景,plc采集数据全链路:
kepServer(kepserver IOT gateway) -> emqx (查看日志)-> iot服务 -> 业务处理发送Kafka -> flink消费 -> websocket推送告警...
【整个链路还是比较长的】

整个过程是这样的,

  • kepServer。kepServer上配置设备需要采集的plc数据点位,kepServer自带的 IOT gateway,可以针对任意配置点位推送至EMQX服务器topic以及点位推送速率,为了调试配置了几个点位有虚拟点位和真实点位
  • EMQX。启动EMQX:MQTT服务器(业内比较常用的MQTT服务器)
  • IOT服务。 kepServer IOT配置点位数据发生变化后,将数据推送给EMQX,IOT服务监听对应topic解析组装数据直接将消息推送至Kafka
  • kafka。Kafka为所有类型数据的入口,所有类型数据统一推送至Kafka,如ModBus、MQTT、HttpApi…
  • Flink服务。Flink服务实时消费Kafka数据,根据IOT服务中配置与kepServer上对应的点位以及针对不同点位配置的告警模板,根据阈值或者状态等其他规则实时处理数据。
  • WebSocket。目前Flink集成WebSocket,根据阈值实时推送给前端,实时展示数据,如传感器温湿度、设备状态…

现象

调试真实点位

率先发现改变设备运行状态plc点位值,设备运行状态或者告警产生比较慢【延迟比较多】

分析

查看现有日志,初步分析发现消息生产到推送到Kafka有10s延迟

初步分析

  • kepserver 消息产生有时间
  • emqx可以配置日志级别为 debug,查看接受到消息的时间 延迟没问题
  • 发送Kafka之前的逻辑比较简单,不会有延迟

最终定位问题IOT接受消息有延迟,IOT框架内Listener监听消息有延迟 orz(初步定位,实际上是错的

后续,又将IOT监听MQTT消息初打日志,发送Kafka消息耗时时间打印。

对比多个关键节点时间,发现两个延迟点

  1. kepServer数据发生变化的时间和EMQX接收到kepServer推送的消息的时间对比:发现有个5-8s的延迟【kepServer->EMQX
  2. Kafka发送消息到成功回调:有个固定2s左右的延迟【Kafka

发现问题比解决问题更难,多打日志,好定位问题,养成习惯

最终解决

全链路排查

  1. kepServer

    • kepServer IOT gateway -> rate 速率设置,由10000 -> 1000

    • 这个参数改为1000之后呢(kepServer延迟得到解决),原本8-10s的延迟,变为了3s延迟左右

  2. kafka

    • 通过代码中各个关键节点打的日志,发现Kafka发消息到成功回调基本稳定在2s延迟左右,偶尔会有基本无延迟的情况(这种情况有点意思)

    • 各种查资料发现Kafka有如下几个与消息缓存区相关的参数

          kafka:...producer:batch-size: 16384 # kafka本地线程会去缓冲区中⼀次拉16k的数据,发送到brokerbuffer-memory: 33554432 # 消息缓冲区默认32m...properties:linger:ms: 10 # 默认 10ms
      

      如果线程拉不到16k的数据,间隔10ms也会将已拉到的数据发到broker

    原本这个时间参数刚好设置的就是2000ms,与上述刚好固定两秒延迟相符,偶尔有无延迟现象说明该消息刚发送就到了2s的频次直接就发生了无延迟

    • 该时间参数不设置或者设置小一些对延迟有明显的提升,但这样就会频繁发送消息增大网络开销,自行根据业务取舍
    • 整个默认10ms

所有都改完之后,基本延迟在1s左右,由于链路本身就比较长,这个时间还是可以接受的。yes

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/196416.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue项目目录结构

项目结构 目录说明.vscodeVSCode工具的配置文件node_modulesVue项目的运行依赖文件public资源文件夹(浏览器图标)src源码文件夹.gitignore配置git忽略文件index.html入口HTML文件package-lock.json信息描述文件(所有模块)package…

分布式追踪

目录 文章目录 目录自定义指标1.删除标签2.添加指标3.禁用指标 分布式追踪上下文传递Jaeger 关于我最后最后 自定义指标 除了 Istio 自带的指标外,我们还可以自定义指标,要自定指标需要用到 Istio 提供的 Telemetry API,该 API 能够灵活地配…

飞致云1panel + 雷池WAF

可能有许多人都有这个需求:为自己的个人站点套上WAF,增加安全性,本文将介绍如何将1panel面板深度结合长亭雷池防火墙,实现为个人站点套上WAF并且自动续签ssl证书。 前提条件: 服务器IP已绑定域名 完整的1panel环境 …

软考初级、中级、高级怎么选?

本年度的PMP考试已经结束啦,对于刚考完的威宝和已经通过考试的威班们来说,刚开始接触PMP认证的时候在科普阶段有看到过“软考”的字眼。什么是软考,它主要考什么?通常用于哪些方面?软考又和PMP有什么关系?如…

Shutdown Signal: channel error; protocol method: #method<channel.close>

完整异常信息&#xff1a; Shutdown Signal: channel error; protocol method: #method<channel.close>(reply-code404, reply-textNOT_FOUND - no exchange fanoutExchange in vhost /, class-id60, method-id40) 意思是找不到名字是 fanoutExchange 的虚拟机 就是虚拟机…

SQL Sever 基础知识 - 数据筛选(3)

SQL Sever 基础知识 - 四、数据筛选 第7节 BETWEEN7.1 BETWEEN 运算符概述7.2 BETWEEN 示例7.2.1 BETWEEN 与数字示例7.2.2 BETWEEN 和日期示例 第8节 LIKE8.1 LIKE运算符概述8.2 转义字符8.3 LIKE 示例8.3.1 % (百分号) 通配符示例8.3.2 _(下划线)通配符示例8.3.3 [字符列表] …

vivado实现分析与收敛技巧9-分析使用率统计数据

实现问题的常见原因之一是未考量显式和隐式物理约束。例如 &#xff0c; 管脚分配 (pinout) 在逻辑布局上变为显式物理约束。 slice&#xff08; 分片 &#xff09; 逻辑在大部分器件中都是一致的。但如下专用资源表示的是隐式物理约束 &#xff0c; 因为这些资源仅在某些位置…

React创建项目

React创建项目 提前安装好nodejs再进行下面的操作&#xff0c;通过node -v验证是否安装 1.设置源地址 npm config set registry https://registry.npmmirror.com/2.确认源地址 npm config get registry返回如下 https://registry.npmmirror.com/3.输入命令 npx create-re…

SQL手工注入漏洞测试(PostgreSQL数据库)-墨者

———靶场专栏——— 声明&#xff1a;文章由作者weoptions学习或练习过程中的步骤及思路&#xff0c;非正式答案&#xff0c;仅供学习和参考。 靶场背景&#xff1a; 来源&#xff1a; 墨者学院 简介&#xff1a; 安全工程师"墨者"最近在练习SQL手工注入漏洞&#…

如何使用gdb调试fork程序

代码示例 #include<stdio.h> #include<unistd.h> #include<sys/types.h> #include<stdlib.h> #include<sys/wait.h>int main(int argc, const char* argv[]) {pid_t pid -1;int status 0;int ret -1; // 创建子进程。若创建成功&#xff0c;…

使用ES6 async awai t进行异步处理

我们往往在项目中会遇到这样的业务需求&#xff0c;就是首先先进行一个ajax请求&#xff0c;然后再进行下一个ajax请求&#xff0c;而下一个请求需要使用上一个请求得到的数据&#xff0c;请求少了还好说&#xff0c;如果多了&#xff0c;就要一层一层的嵌套&#xff0c;就好像…

Typora免费版安装教程(仅供学习)

目录 一、Typora简介二、Typora安装三、Typora补丁四、Typora使用体验五、总结 一、Typora简介 Typora是一款非常流行的Markdown编辑器&#xff0c;它能够将Markdown文本转化为漂亮的排版&#xff0c;并且支持实时预览。Typora具有简单易用的界面&#xff0c;使得用户可以轻松地…

12.04

#include <iostream>using namespace std;class Sofa { private:string sitting;double *weight; public:Sofa(){cout << "Sofa::无参构造函数" << endl;}Sofa(string s,double w):sitting(s),weight(new double(w)){cout << "Sofa::有…

docker搭建xxl-job

使用docker-compose创建并运行xxl-job 查看、下载镜像 docker search xxl-job # 结果&#xff0c;自己指定版本 xuxueli/xxl-job-admin:2.3.1创建文件夹 /usr/local/software/xxl-job/logs编排docker-compose文件 version: 2 networks:wn_docker_net:external: true servic…

iptable功能总汇

引言 iptables是Linux系统中最常用的防火墙安全软件&#xff0c;它的功能其实非常的强大&#xff0c;用的好的话&#xff0c;能实现的功能简直令人有眼花缭乱之感&#xff0c;下面就简单列一下有哪些功能&#xff1a; 端口过滤&#xff0c; 源NAT&#xff0c; 目的NAT&…

Harmony Ble蓝牙App(三)特性和属性

Ble蓝牙App&#xff08;三&#xff09;特性使用 前言正文一、获取属性列表二、属性提供者三、获取特性名称四、特性提供者五、加载特性六、源码 前言 在上一篇中我们完成了连接和发现服务两个动作&#xff0c;那么再发现服务之后要做什么呢&#xff1f;发现服务只是让你知道设备…

汽车电子 -- 毫米波雷达

参看&#xff1a;自动驾驶感知——毫米波雷达 一、雷达分类 按信号形式&#xff1a;脉冲体制、连续波体制等按测量参数&#xff1a;测速雷达、成像雷达等按扫描方式&#xff1a;机械扫描、电子扫描&#xff08;数字波束形成、相控阵&#xff09;等按工作方式&#xff1a;多普…

容器与集群——通过deployment 创建pod以及Java Web应用的容器化发布

## 一、通过deployment 创建pod 1.1 编写yaml文件 1.2 安装pod 创建kubectl create -f dp-nginx.yaml 查看Deployment信息 1.3 查看相关信息 查看pod信息kubecel get pods 查看rs信息 二、Java Web应用的容器化发布 1. 环境准备 部署K8s集群并启动。 为了与其他pod…

Educational Codeforces Round 159 (Rated for Div. 2)(B 二分贪心 Cgcd D二分+前缀和 E字典树)

A - Binary Imbalance 有只要在01之间插入就能制造无限个0&#xff0c;没有0就统计0 1个数即可 #include<bits/stdc.h> using namespace std; const int N 110010,mod998244353; #define int long long typedef long long LL; typedef pair<int, int> PII; const…

阿里内部自动化测试教程:python+pytest接口自动化-HTTP协议基础

HTTP协议简介 HTTP 即 HyperText Transfer Protocol&#xff08;超文本传输协议&#xff09;&#xff0c;是互联网上应用最为广泛的一种网络协议。所有的 WWW 文件都必须遵守这个标准。 设计 HTTP 最初的目的是为了提供一种发布和接收 HTML 页面的方法。HTTP 协议在 OSI 模型…