【Kubernetes】当K8s出现问题时，从哪些方面可以排查

在这里插入图片描述
前言

kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。

📕作者简介：热爱跑步的恒川，致力于C/C++、Java、Python等多编程语言，热爱跑步，喜爱音乐的一位博主。
📗本文收录于恒川的日常汇报系列，大家有兴趣的可以看一看
📘相关专栏C语言初阶、C语言进阶系列等，大家有兴趣的可以看一看
📙Python零基础入门系列，Java入门篇系列正在发展中，喜欢Python、Java的朋友们可以关注一下哦！

K8s问题的排查

  • 1. POD启动异常、部分节点无法启动pod
  • 2. 审视集群状态
  • 3. 追踪事件日志
  • 4. 聚焦Pod状态
  • 5. 检查网络连通性
  • 6. 审视存储配置
  • 7. 研究容器日志
  • 8. K8S集群网络通信
  • 9. 问题：Service 是否通过 DNS 工作？
  • 10. 总结

1. POD启动异常、部分节点无法启动pod

在这里插入图片描述

容器里管理应用

  • pod是k8S中最小调度单元,POD里面的容器共享pod的空间、资源、网络、存储等。
  • pod管理一个容器。
  • pod管理多个容器。

pod出现异常的原因：

  1. 资源过剩： 大量POD在同一个物理节点，出现资源占用太多导致物理节点宕机。
  2. 内存和CPU超标：pod中的应用出现内存泄露，导致pod内存迅速增多，pod kill 了影响节点正常提供服务。（解决办法：压测占用多少内存和CPU，做资源限制；）
  3. 网络问题：导致POD无法通信（解决办法：检查calico网络插件情况）
  4. 存储问题：pod挂载的共享存储连接不上导致pod启动异常(解决办法：查看共享存储是否正常,存储卷是否正常)
  5. 代码问题：应用程序代码在容器启动后失败（解决办法：排查应用程序代码）
  6. 配置问题：在部署deployment和statefulset时，资源清单编写有问题，导致pod无法正常创建(解决办法：查看资源配置的清单)
  7. 借助监控系统排查以上问题。

2. 审视集群状态

审视集群状态
  K8S的集群状态是排查故障的关键起点。使用kubectl get nodes命令来检查节点状态。如果有节点未能就绪或出现异常状态，可能会对应用程序造成故障。确保基本组件，如etcd、kubelet和kube-proxy等，正常运行。

3. 追踪事件日志

追踪事件日志
  深入了解集群中发生的事件是解决K8S故障的重要环节。通过kubectl get events命令查看事件日志。事件日志记录了与集群中重要事件和错误相关的信息。透过事件日志的检查，能够了解K8S组件或应用程序中存在的潜在故障，并准确定位问题。

4. 聚焦Pod状态

第三方面：聚焦Pod状态
  通过运行kubectl get pods --all-namespaces命令，获取集群中所有Pod的状态。若有Pod未处于运行状态（例如挂起、错误或未就绪等），很可能与容器或应用程序相关的问题有关。借助kubectl describe pod命令，获取特定Pod的详细信息，以便深入排查。

5. 检查网络连通性

检查网络连通性
  确保网络连接正常。审查服务、Pod和节点之间的网络通信是否存在问题。运行kubectl get services命令查看服务状态，使用kubectl describe service获取相关服务的详细信息。同时，验证网络策略和防火墙规则的正确配置。

6. 审视存储配置

审视存储配置
  如果你的应用程序使用持久性存储（例如Persistent Volumes和Storage Classes），务必确保存储配置正确。检查存储卷声明、存储类和持久卷的状态。通过kubectl get pv、kubectl get pvc和kubectl get storageclass命令，获取与存储相关的信息。

7. 研究容器日志

研究容器日志
  深入容器的日志能够提供关于应用程序故障的重要线索。使用kubectl logs命令查看特定Pod中容器的日志输出。如果Pod内含多个容器，你可以使用kubectl logs-c来查看特定容器的日志。

8. K8S集群网络通信

在这里插入图片描述

K8S集群有自己独立的内部网络，整个集群的通信都需要依赖网络插件，常见的网络插件有Calico、Flannel、Canel等等。

  • Calico网络插件支持IP地址的分配以及网络策略的调整，性能和Flannel不相上下。
  • Flannel网络插件只支持IP地址分配。
  • Canel是Calico和Flannel网络插件的结合体。

K8S集群中的网络通信主要有以下几种：

  • 同一个Pod内多个容器之间的网络通信。
  • Pod与Pod之间的网络通信。
  • Pod与Service的通信。
  • Service资源与集群外部的通信。

9. 问题：Service 是否通过 DNS 工作？

在这里插入图片描述

  从相同 Namespace 下的 Pod 中运行：

u@pod$ nslookup hostnames
Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.localName:      hostnames
Address 1: 10.0.1.175 hostnames.default.svc.cluster.local

  如果失败，那么您的 Pod 和 Service 可能位于不同的 Namespace 中，请尝试使用限定命名空间的名称：

u@pod$ nslookup hostnames.default
Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.localName:      hostnames.default
Address 1: 10.0.1.175 hostnames.default.svc.cluster.local

  如果成功，那么需要调整您的应用，使用跨命名空间的名称去访问服务，或者，在相同的 Namespace 中运行应用和 Service。如果仍然失败，请尝试一个完全限定的名称：

u@pod$ nslookup hostnames.default.svc.cluster.local
Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.localName:      hostnames.default.svc.cluster.local
Address 1: 10.0.1.175 hostnames.default.svc.cluster.local

  注意这里的后缀：”default.svc.cluster.local”。”default” 是我们正在操作的 Namespace。”svc” 表示这是一个 Service。”cluster.local” 是您的集群域，在您自己的集群中可能会有所不同。

  您也可以在集群中的 Node 上尝试此操作：

注意：10.0.0.10 是我的 DNS Service，您的可能不同）

u@node$ nslookup hostnames.default.svc.cluster.local 10.0.0.10
Server:         10.0.0.10
Address:        10.0.0.10#53Name:   hostnames.default.svc.cluster.local
Address: 10.0.1.175

  如果您能够使用完全限定的名称查找，但不能使用相对名称，则需要检查 /etc/resolv.conf 文件是否正确。

u@pod$ cat /etc/resolv.conf
nameserver 10.0.0.10
search default.svc.cluster.local svc.cluster.local cluster.local example.com
options ndots:5

  nameserver 行必须指示您的集群的 DNS Service，它通过 --cluster-dns 标志传递到 kubelet。

  search 行必须包含一个适当的后缀，以便查找 Service 名称。在本例中，它在本地 Namespace（default.svc.cluster.local）、所有 Namespace 中的 Service（svc.cluster.local）以及集群（cluster.local）中查找服务。根据您自己的安装情况，可能会有额外的记录（最多 6 条）。集群后缀通过 --cluster-domain 标志传递给 kubelet。本文档中，我们假定它是 “cluster.local”，但是您的可能不同，这种情况下，您应该在上面的所有命令中更改它。

  options 行必须设置足够高的 ndots，以便 DNS 客户端库考虑搜索路径。在默认情况下，Kubernetes 将这个值设置为 5，这个值足够高，足以覆盖它生成的所有 DNS 名称。

10. 总结

  当然，具体的排查方法还取决于你的集群配置、应用程序部署方式以及故障的具体现象。根据实际情况，可能需要进一步调查或采取其他排查措施。立足于这些方向，你将更有把握解决K8S故障，并确保应用程序持续稳定运行。

如果这份博客对大家有帮助，希望各位给恒川一个免费的点赞👍作为鼓励，并评论收藏一下⭐，谢谢大家！！！
制作不易，如果大家有什么疑问或给恒川的意见，欢迎评论区留言。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/25082.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【CSS3】CSS3 2D 转换 - scale 缩放 ② ( 使用 scale 设置缩放代码示例 - 图片缩放示例 )

【CSS3】CSS3 2D 转换 - scale 缩放 ② ( 使用 scale 设置缩放代码示例 - 图片缩放示例 )

文章目录 一、需求分析二、代码分析三、代码示例四、执行结果 一、需求分析 默认状态下 , 界面中显示一张图片 : 当鼠标移动到 图片上时 , 显示如下效果 , 其中图片是逐渐放大的 , 有一个过渡 : 二、代码分析 上述盒子模型布局结构如下 , div 是外层父容器 , a 标签用于设置链接…
阅读更多...
手撕最常见的算法岗面试题（25道）

手撕最常见的算法岗面试题（25道）

手撕代码环节常常是面试官给出题目的口头或文字描述，要求在纸上手写或在txt文档中打字，面试以简单数据结构与算法题为主，考察基本代码功底。 考察频次：链表 > 字符串/哈希 > 二叉树与图 > 栈/队列 > 查找/排序/搜索 …
阅读更多...
spring security + oauth2 使用RedisTokenStore 以json格式存储

spring security + oauth2 使用RedisTokenStore 以json格式存储

1.项目架构 2.自己对 TokenStore 的 redis实现 package com.enterprise.auth.config;import org.springframework.data.redis.connection.RedisConnection; import org.springframework.data.redis.connection.RedisConnectionFactory; import org.springframework.data.redis…
阅读更多...
深度学习入门必读 | 深度学习算法技术原理和发展

深度学习入门必读 | 深度学习算法技术原理和发展

前言：Hello大家好，我是小哥谈。随着人工智能技术的发展，深度学习已经成为了一个热门话题。为了让大家能够更清晰直观的了解深度学习，今天这篇文章就重点给大家介绍一下深度学习算法的技术原理和发展！🌈 目录…
阅读更多...
Python中的PDF文本提取：使用fitz和wxPython库（带进度条）

Python中的PDF文本提取：使用fitz和wxPython库（带进度条）

引言： 处理大量PDF文档的文本提取任务可能是一项繁琐的工作。本文将介绍一个使用Python编写的工具，可通过简单的操作一键提取大量PDF文档中的文本内容，极大地提高工作效率。 import wx import pathlib import fitzclass PDFExtractor(wx.Fr…
阅读更多...
自动化测试po模式是什么

自动化测试po模式是什么

一、什么是PO模式 全称：page object model 简称：POM/PO PO模式最核心的思想是分层，实现松耦合！实现脚本重复使用，实现脚本易维护性！ 主要分三层： 1.基础层BasePage：封装一些最基…
阅读更多...
LVS负载均衡(DR)

LVS负载均衡(DR)

文章目录 LVS-DR模式配置原理注DR配置添加VIP下载ipvsadm在DR上管理LVS Real-Server RS配置绑定VIP到环回网卡添加访问VIP的路由配置ARP抑制测试： LVS-DR模式配置 原理 当客户端发起请求后由DR处理，通过算法将流量转发至Real-Server中的某一个处理。然后…
阅读更多...
HDFS介绍

HDFS介绍

目录 ​编辑 一、HDFS基础 1.1 概述 1.2 HDFS的设计目标 1.2.1 硬件故障 1.2.2 流式数据访问 1.2.3 超大数据集 1.2.4 简单的一致性模型 1.2.5 移动计算而不是移动数据 1.2.6 跨异构硬件和软件平台的可移植性 1.3 基础概念 1.3.1 块（Block） 1.3.2 复制…
阅读更多...
【MySQL】检索数据使用数据处理函数

【MySQL】检索数据使用数据处理函数

函数 与其他大多数计算机语言一样，SQL支持利用函数来处理数据。函数一般是在数据上执行的，它给数据的转换和处理提供了方便。 函数没有SQL的可移植性强：能运行在多个系统上的代码称为可移植的。多数SQL语句是可移植的，而函数的可…
阅读更多...
虹科案例 | PLC如何应用于建筑的3D打印？

虹科案例 | PLC如何应用于建筑的3D打印？

客户：Rebuild 合作伙伴：ASTOR 应用：用于建筑的大尺寸3D打印 应用产品：3D混凝土打印机 （一）应用背景 自从20世纪80年代以来，增材制造技术（即3D打印）不断发展。大部分3D打印…
阅读更多...
ArduPilot开源代码之Companion Computers简单分析

ArduPilot开源代码之Companion Computers简单分析

ArduPilot开源代码之Companion Computers简单分析 1. 源由2. 伴机系统2.1 APSync2.2 DroneKit2.3 FlytOS2.4 Maverick2.5 ROS2.6 Rpanion-server 3. 总结4. 参考资料 1. 源由 从稳定性，社区群体，以及开源方式的角度看，Ardupilot是不错的选择…
阅读更多...
HttpRunner自动化测试工具之录制工具使用--使用抓包工具通过命令转成yml文件

HttpRunner自动化测试工具之录制工具使用--使用抓包工具通过命令转成yml文件

录制工具使用： 为了简化测试用例的编写工作，HttpRunner实现了测试用例生成的功能，对应的转换工具为一个独立的项目：har2case 使用操作步骤： 1、通过抓包工具获取HAR格式的数据包 2、通过命令har2case har的数据包路径…
阅读更多...
40.利用欧拉法求解微分方程组（matlab程序）

40.利用欧拉法求解微分方程组（matlab程序）

1.简述 求解微分方程的时候，如果不能将求出结果的表达式，则可以对利用数值积分对微分方程求解，获取数值解。欧拉方法是最简单的一种数值解法。前面介绍过MATLAB实例讲解欧拉法求解微分方程，今天实例讲解欧拉法求解一阶微分方程组。…
阅读更多...
车载软件架构 —— 闲聊几句AUTOSAR OS（十一）

车载软件架构 —— 闲聊几句AUTOSAR OS（十一）

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 没有人关注你。也无需有人关注你。你必须承认自己的价值，你不能站在他人的角度来反对自己。人生在世，最怕的就是把别人的眼光当成自己生活的唯一标…
阅读更多...
TBB库中实现协程(coroutine)的源码说明

TBB库中实现协程(coroutine)的源码说明

源码请见: https://github.com/oneapi-src/oneTBB/blob/master/src/tbb/co_context.h 在windows系统，TBB(也就是intel 的 oneTBB库)，通过windwos fiber(纤程)来实现协程(coroutine)。 创建一个协程,代码很简洁: inline void create_coroutine(corouti…
阅读更多...
C++动态规划经典试题解析之打家劫舍系列

C++动态规划经典试题解析之打家劫舍系列

1.前言 力扣上有几道与打家劫舍相关的题目，算是学习动态规划时常被提及的经典试题，很有代表性，常在因内大大小小的社区内看到众人对此类问题的讨论。 学习最好的方式便是归纳总结、借鉴消化，基于这个目的，本文对此类问题也做了讲解，在一些优秀思想的基础上添加了个人观…
阅读更多...
react中PureComponent的理解与使用

react中PureComponent的理解与使用

一、作用 它是一个纯组件，会做一个数据的浅比较，当props和state没改变的时候，不会render重新渲染， 改变后才会render重新渲染，提高性能。 二、使用 三、注意 它不能和shouldComponentUpdate生命周期同时使用。因为它…
阅读更多...
【CSS】3D卡片效果

【CSS】3D卡片效果

效果 index.html <!DOCTYPE html> <html><head><title> Document </title><link type"text/css" rel"styleSheet" href"index.css" /></head><body><div class"card"><img…
阅读更多...
【JAVA】继承

【JAVA】继承

作者主页&#xff1a;paper jie的博客 本文作者&#xff1a;大家好&#xff0c;我是paper jie&#xff0c;感谢你阅读本文&#xff0c;欢迎一建三连哦。 本文录入于《JAVASE语法系列》专栏&#xff0c;本专栏是针对于大学生&#xff0c;编程小白精心打造的。笔者用重金(时间和精…
阅读更多...
HDFS集群滚动升级以及回滚相关

HDFS集群滚动升级以及回滚相关

HDFS集群滚动升级以及回滚相关 介绍不停机滚动升级非联邦HA集群联邦HA集群 停机升级--非HA集群HDFS集群降级和回滚异同点共同点不同点 HA集群降级&#xff08;downgrade&#xff09;注意事项 集群回滚操作 介绍 在hadoop v2中&#xff0c;HDFS支持namenode高可用&#xff08;H…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023