java连接access_关于k8s下使用Ingress保持长连接的异常情况排查

写在前面的话

应某位友人需求,帮整理下工作中的发生的一些值得记录的文章。于是在友人描述后,为其整理为了文章,供大家一起参考探讨。

问题描述

在我们中应用有一个使用到`Http Long Poll`的场景,它需要一个http请求保持最长30秒,用于即使获取到最新的数据。在k8s环境下,发现应该存在偶发的异常,表现为长连接没有正常关闭,抛出异常:

java.net.SocketException: Unexpected end of file from server

问题排查

  1. 应用异常排查

首先我们先对应用程序的代码进行了排查,并没有发现代码上的bug,可以排除是由于代码bug导致的这个问题。

  1. 抓包

接下来考虑的方式就是抓包,分别在三个节点上进行抓包:应用程序所在pod、ingress-nginx所在pod、服务端pod。

分别执行以下shell脚本:

tcpdump tcp -s 0  -w ./target.cap

抓取当前网卡下的所有tcp流量,然后使用wireshark进行分析。发现了一个比较奇怪的现象:

e99896e0405322954ba7d78e688450a5.png
28ab44297310c4f4ed80e5a577b41ad5.png
865b6d7889142f94c286f514d59e41cd.png

从上到下三张图片分别是应用程序端、nginx端、服务端的抓包数据,可以发现连接的关闭是由nginx这个节点发起的,应用端和服务端同时收到了来自nginx的FIN ACK包,要求关闭当前连接,并且都开始执行四次握手过程。但是在这个过程中又发生了什么异常导致这个过程并没有正常完成。

通过观察大量的抓包数据后发现这个情况发生的非常多,但并不是每次都会导致连接的异常关闭,大部分还是能够正常关闭连接并建立新的连接的。

通过仔细观察发现被异常关闭的连接,都是发生在Seq=1的情况下,这个原因还不是很清楚。

那为什么nginx会主动发起关闭连接呢?

Nginx 排查

这时候首先想到的就是nginx的日志,在翻查了nginx的access.log后,发现在相同的时间段,nginx都发生了reload现象:

backend reload requiredingress backend successfully reloaded

难道是由于nginx的reload导致的问题吗?

通过查询发现,nginx reload的大致流程为:

  • reload命令触发nginx生成新的worker进程用于接受新的连接请求
  • old worker 进程不再接受请求
  • 对于仍然存在于old worker进程上的keep alive的连接,主动发送FIN ACK 包,通知对方关闭当前连接
  • 当所有old worker 上的连接都关闭或者超过worker-shutdown-timeout所设定的时间后,会关闭old worker 进程

通过查询k8s上ingress的默认配置发现,worker-shutdown-timeout被设置为了10s,这时候基本可以确定问题了,由于old worker关闭的窗口时间只有10s,如果在这个时间段内有连接还没有完成关闭,而此时old worker已经被关闭了,client端当然不能正常处理请求,因为它所连接的server端已经被提前关闭了。

解决

找到问题原因了当然接下来就是解决了,将worker-shutdown-timeout该字段的值增大为:3600s,即1小时,理论上这个时间足够该worker上的连接全部完成关闭了。

在调整了k8s上ingress的这个参数后,又进行了反复测试,并没有再次发现同样的问题,该问题得到解决。

遗留

然后,为什么是Seq=1的连接会发生这个异常,还是没有完全想明白。

8cef2489e82c01965341b44c0315f19a.png

#职场众生相##职场达人说##我要上头条#

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/552113.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python重复命令_Python简化重复命令教案

教材分析: 本节主要内容是 Python 程序设计的第三节, 也是这一单元的重点和难点, 是在掌握循序结构程序的基础上真正接 触结构化程序设计,能够理解并掌握循环语句的含义,其他语句就很容易理解了。 学情分析&#xff1a…

java调用另一个类的变量_调用 另一个类(同包/不同包)中的方法,成员方法,成员变量...

调用 另一个类中的1, 方法(方法区别于成员方法的标志就是有无static)homework05.Test52.randomNumber(100,20,8); //直接调用即可, 包名.类名.方法名();同一个包中可不写包名.1 packagehomework06;23 importhomework05.Test52;45 importjava.util.Arrays;67 public classTes…

罗斯蒙特电磁流量计8723说明书_罗斯蒙特8732E电磁流量计对环境和温度的限制

今天我们来说说美国罗斯蒙特8732E电磁流量计对环境和温度的限制!工作温度-40 到 60C(-40 到 140F),无本地操作界面-20 到 60C(-4 到 140F),有本地操作界面当温度低于 -20C 时,本地操作界面 (LOI) 将无显示储存-40 到 85C(-40 到 1…

python字符串定义符_python入门——定义字符串

坚持每天更新,帮助入门python。kali linux 小伙伴们,大家好,今下午我们一起学习在python中定义字符串。 那么什么是字符串呢?字符串或串(String)是由数字、字母、下划线组成的一串字符。说白了,就是一堆字符。 在pytho…

java asynchronize_Java 中synchronize函数的实例详解

Java 中synchronize函数的实例详解java中的一个类的成员函数若用synchronized来修饰,则对应同一个对象,多个线程像调用这个对象的这个同步函数时必须等到上一个线程调用完才能由下一个线程调用。那么如果一个类同时有两个成员函数是由synchronized修饰如…

python递归和循环的区别_递归与伪递归区别,Python 实现递归与尾递归

递归函数在函数内部,可以调用其他函数。如果一个函数在内部调用自身本身,这个函数就是递归函数。(1) 递归就是在过程或函数里调用自身。(2) 在使用递归策略时,必须有一个明确的递归结束条件,称为递归出口。递归一般用于解决三类问…

java基础排序_Java排序算法-Java入门|Java基础课程

1、 课程目标排序是任何语言都会使用到的功能之一,然成果排序的算法有很多,对空间的要求及其时间效率也不尽相同。本文章以Java语言示例,通过对空间要求、时间效率要求,来对比各种排序算法的使用场景2、适用对象Java语言初学者Jav…

python逐行打印_python中逐行打印

方法一:readline函数 f open("./code.txt")      #返回一个文件对象 line f.readline() #调用文件的 readline()方法 whileline: print(line, end ) #在 Python 3中使用 line f.readline() f.close() 方法二:一次读取多行数据 with ope…

多个python脚本同时执行_Python实现脚本锁功能(同时只能执行一个脚本)

1. 文件锁脚本启动前检查特定文件是否存在,不存在就启动并新建文件,脚本结束后删掉特定文件。通过文件的判断来确定脚本是否正在执行。方法实现也比较简单,这里以python脚本为例#codingutf-8## 文件锁脚本测试#import os #操作系统import tim…

耳机不分主从是什么意思_开学必备高性价蓝牙耳机,学生党时尚配件推荐

耳机自从手机出世之后就一直伴随着我们,作为手机的最佳搭档被我们使用,像现如今流行的蓝牙耳机我们就经常使用,大学生也是差不多每天都用得着,听歌、散步、玩游戏、看剧等哪都看得到它的身影,当然蓝牙耳机价格也有高低…

11g java 驱动_Oracle 11g Java驱动包ojdbc6.jar安装到maven库,并查看jar具体版本号

ojdbc6.jar下载Oracle官方宣布的Oracle数据库11g的驱动jar包是ojdbc6.jarojdbc6.jar下载地址:https://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html (Oracle Database 11g Release 2 (11.2.0.4) JDBC Drivers & UCP Downlo…

功放音量调节原理_玩汽车音响,功放和喇叭,应该如何做好匹配?

原标题:玩汽车音响,功放和喇叭,应该如何做好匹配?功放和喇叭搭配使用,离不开合理匹配,那么如何做好两者匹配呢?功放和喇叭要做到三匹配:阻抗匹配、功率匹配和工作频率匹配。只有这样…

python淘宝抢购_Python 实现毫秒级淘宝抢购脚本的示例代码

本篇文章主要介绍了Python 通过selenium实现毫秒级自动抢购的示例代码,通过扫码登录即可自动完成一系列操作,抢购时间精确至毫秒,可抢加购物车等待时间结算的,也可以抢聚划算的商品。 博主不提供任何服务器端程序,也不…

java seekbar_SeekBar的基本使用方法

a)什么是SeekBarb)使用SeekBar的步骤:i.在布局文件当中声明SeekBar: ii.定义一个OnSeekBarChangeListener: private class SeekBarListener implements SeekBar.OnSeekBarChangeListener{public void onProgressChanged(SeekBar seekBar,int progress,Boolean fromUser){System…

线程中如何使用对象_在 Flink 算子中使用多线程如何保证不丢数据?

简介: 本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。分析痛点笔者线上有一个 Flink 任务消费 Kafka 数据&#x…

用python绘制好看的图形_怎么用Python画出好看的词云图?

相信很多人在第一眼看到下面这些图时,都会被其牛逼的视觉效应所吸引,这篇文章就教大家怎么用Python画出这种图。 前期准备 上面的这种图叫做词云图,主要用途是将文本数据中出现频率较高的关键词以可视化的形式展现出来,使人一眼就…

linux回到桌面的命令符_三 基本的base shell 命令

1、启动shell进入 /etc/passwd 看到知道默认的是base shell ctrlaltt 或者双击终端,就进入如下图界面;如果你还是CLI新手,请记住,在输入shell命令之后,需要按回车键才能让shell执行你输入的命令。2、bash 手册man 命令…

java单纯形法_单纯形法 - fjzzq2002 - 博客园

看了集训队答辩,感觉要学习的有杜教筛高级版、线性规划、FFT、仙人掌、高级版线段树不出意外的话一个月内博客内都不会有别的东西了QAQ首先是喜闻乐见的单纯形法解线性规划。今年(2016年)和线性规划有关的集训队论文有两篇,大家可以自行翻一下集训队论文…

python调用js获取异步返回的数据_Python怎么获取js动态加载的数据

展开全部 import selenium from selenium import webdriver from selenium.common.exceptions import NoSuchElementException from selenium.webdriver.common.keys import Keys import time browser webdriver.Firefox() # Get local session of firefox browser.get("…

一个柱状图里两种数据_分享一些数据分析常用的统计图图表

无论是报表分析还是可视化分析中,最直观传达数据走向趋势的就是各式各样的统计图,比如想要比较分析两种不同的变量数据,可以用柱状图;想要查看某一数据在整体数据中所占的比例,可以用饼图来展示;想要查看某…