Bug地狱 #1 突然宕机,企业级应用到底怎么了

Bug地狱 #1 突然宕机,企业级应用到底怎么了

背景

目前就职的企业经营是一家服务小微门店Saas企业,以进销存管理和客户营销为主体提供订阅服务。项目正式上线可以说是从13年,基础架构是Web和后端使用C# .net,数据库使用SQL Server。这时公司业务正好遇到中国Saas的顶峰,业务不断增长,但是系统宕机的问题一直出现,甚至周末节假日在户外也要oncall,拿出电脑解决问题。

第一次重构 前后端分离

首先是将钱后端一体的代码机构换成前后端分离结构。技术栈仍然是.net。中间前端的技术栈在人员的流转中尝试使用react进行重构,但是最终没有成功。但是部分的页面使用vue进行了重写,使用iframe进行嵌入,没有进行根治的前端重构。通过后端的分离和前端的重写,系统的稳定性得到了提升,但是仍然有很多的隐患,直到今天,这些问题暴露的出来,出现了了更换架构也无法解决的问题,这个后面再讲。

第二次重构 转换技术栈,使用Java 微服务来了 好像好了起来

在我21年除选择入职这家公司,其中最重要的就是我想要进入一家使用微服务的公司,公司的服务器大约有70台,约30个服务。

在18年左右,公司进行了第二次重构,转为使用java技术栈,主要原因是架构师的选择与市场的供需关系,市场上找不到那么多能够直接上手企业应用的工程师。这次重构的方式是,通过.net后端转发请求到java微服务,逐步将后端的功能使用java实现。前端没有进行彻底重构,基于底层.net,通过iframe嵌套vue的方式进行业务扩展。后端的技术栈使用Spring Cloud,注册中心使用Consul,各种中间件使用spring data相关的组件,部分数据库迁移到Pgsql。

通过这次重构,所有的后端业务基本上都转变为使用java实现,系统的稳定性得到的提升,没有了时时待命的情况,偶尔出现重大问题基本上都是发生数据库的问题。

第三次重构 重构前端 正式使用vue

到了22年,通过转为java的后端,系统稳定了,但是前端的用户体验和开发效率都很低,而且随着业务的不断扩展,重构必然要进行,不然开发的节奏始终会被限制。前端使用qiankun 微前端进行重构,按照业务模块区分子项目。后端部分也重写部分接口,将前后端的职责进行明确区分,同业务下接口的数据结构保持统一,降低未来的代码维护成本。

此时公司还扩展了小程序商城的业务能力,希望通过疫情的影响,帮助更多的小微门店进行线上业务的拓展。小程序商城的技术栈使用uniapp。

危机出现

在第二次重构时,公司的业务已经开始呈现缓慢增长,但是系统压力和数据库的压力不断积累。人员减少(业务增速导致始终成本大于利润,再加上疫情对线下门店的影响)。业务不断扩展代码里惊为天人的循环内远程方法调用,数据库没有建立必要的索引,这些问题导致了系统卡顿。最先建立的数据库,包含了300多张数据表,其中不乏上亿数据的表。少量的人员,既要维护原有的代码,又要兼顾业务扩展。数据量的上升,导致数据库瓶颈,主库压力过大,导致服务雪崩,一旦遇到大量的并发请求,服务就会宕机。

系统仿佛脆弱不堪,就像破了很多洞的巨轮。不管是工作日还是周末,总是会通过客服人员反馈系统无法使用。

是时候要根治这个问题了,要被迫开始建立监控系统,寻找能够监控系统的中间件,将本应该就具有完善的监控系统的服务,变得完整起来。

补充一句,基本没有代码单元测试,直接将新写的代码上线,通过check账号来进行测试。XD

未完待续,建立监控系统,寻找优化点。后面会讲到如何建立Promuetheus监控系统,如何通过中间件监控sql,如何查看线上某个具体接口的性能情况。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/670943.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分享76个节日PPT,总有一款适合您

分享76个节日PPT,总有一款适合您 76个节日PPT下载链接:https://pan.baidu.com/s/1-j7toLaBUBAJbkd85xe4VQ?pwd8888 提取码:8888 Python采集代码下载链接:采集代码.zip - 蓝奏云 学习知识费力气,收集整理更不易…

C#验证字符串是否大写、小写,正则表达式vs用Char.IsUpper和Char.IsLower方法遍历字符数组

目录 一、使用的方法 1.正则表达式 2.用Char.IsUpper或Char.IsLower方法 二、源代码 1.源码 2.生成效果 一、使用的方法 1.正则表达式 正则表达式“^[A-Z]$”,其中[A-Z]表示匹配一个到多个大写字母。 正则表达式“^[a-z]$”,其中[a-z]表示匹配一个…

谈一谈深度学习与机器学习

深度学习是机器学习的一个子领域,其核心是使用多层神经网络来学习数据的复杂表示。机器学习是一种更广泛的概念,涵盖了许多不同的方法和技术,包括深度学习在内。 关系: 深度学习是机器学习的一种方法:深度学习利用多…

EasyExcel下载带下拉框和批注模板

EasyExcel下载带下拉框和批注模板 一、 代码实现 controller下载入口 /***下载excel模板* author youlu* date 2023/8/14 17:31* param response* param request* return void*/PostMapping("/downloadTemplate")public void downloadExcel(HttpServletResponse r…

Mysql-数据库优化-客户端连接参数

客户端参数 原文地址 # 连接池配置 # 初始化连接数 spring.datasource.druid.initial-size1 # 最小空闲连接数,一般设置和initial-size一致 spring.datasource.druid.min-idle1 # 最大活动连接数,一个数据库能够支撑最大的连接数是多少呢? …

Vue中的请求拦截器

目录 1 前言 2 使用方法 2.1 创建拦截器 2.2 引入拦截器 1 前言 我们常常会使用JWT令牌来验证登录,因此很多请求都需要携带JWT令牌,我们当然可以用{headers:{Authorization:xx}}的方式,向每个请求中都以这样的方式添加JWT令牌。不过这样…

同样的代码,开发环境生效,测试环境不生效,记一次问题排查过程和原因分析

我的公众号:IT周瑜 今天有同事遇到这样一个问题,有一个新增接口在本地和开发环境的swagger上都能看到,但是在测试环境的swagger上却看不到,并且确定测试环境是最新的代码,并重新构建和部署了。 按照同事的描述,首先我得确定是不是swagger的问题,我先检查我们平台组是否…

javaEE - 23( 21000 字 Servlet 入门 -1 )

一:Servlet 1.1 Servlet 是什么 Servlet 是一种实现动态页面的技术. 是一组 Tomcat 提供给程序猿的 API, 帮助程序猿简单高效的开发一个 web app. 构建动态页面的技术有很多, 每种语言都有一些相关的库/框架来做这件事,Servlet 就是 Tomcat 这个 HTTP…

[第五天】C++继承:单继承、多继承、菱形继承和虚继承的深度解析

一、单继承 1、概述 C最重要的特征是代码重用,通过继承机制可以利用已有的数据类型来定义新的数据类型,新的类不仅拥有旧类的成员,还拥有新定义的成员。 例如一个B类继承于A类,或称从类A派生类B。这样的话,类A成为基类…

2月06日,每日信息差

第一、建业地产有40个项目入围“白名单”,项目分布在郑州、信阳、焦作、洛阳等城市。接近建业地产人士表示,因各城市项目申报、审批工作进度不同,各城市项目的“白名单”申报工作还在持续进行,相关审批通过后,公司入围…

零基础学Python之面向对象

1.面向对象编程简介 (1)什么是面向对象 面向对象程序设计(Object Oriented Programming)作为一种新方法,其本质是以建立模型体现出来的抽象思维过程和面向对象的方法。模型是用来反映现实世界中事物特征的。任何一个模型都不可能反映客观事…

StarRocks 1 月社区动态(2024)

StarRocks 在 2023 年不断进化,锤炼核心功能,打磨全新特性,成功实现了从全场景 OLAP 到云原生湖仓的全面升级,成为湖仓新范式的造浪者。2024 年,我们期待与您一同续写新篇章,共同迈向“极速统一”的新征程&…

使用#if 和 #endif 实现注释,及原因

注释我们代码中经常使用, 单行注释和多行注释我们都会经常用到。 但是有些场景下这两种注释并不是很方便,这样我们就可以使用上面的两个宏来对代码进行注释。 什么情况下使用那两种注释不方便? 1. 如果代码很多时,我们如果一行一行…

【Qt】常见问题

1.存在未解析的标识符 将build文件夹删掉重新编译。 2.左侧项目目录栏无法删除已添加项目 打开目标项目上一级的pro文件,将目标文件名字注释或者删除掉,最后保存,qt就会自动更新,将该项目隐藏掉。 3.在qt creator下添加槽函数…

c++运算符优先级

这里写目录标题 C运算符优先级定义了表达式中运算符的计算顺序。当一个表达式中有多个运算符时,运算符的优先级决定了哪些运算符先被计算。下面是C中一些常见运算符的优先级列表,从高到低排序: 阿里云参考链接:developer.aliyun.c…

模拟串口LV2,解决硬件串口资源不足问题!!!!

模拟串口通信 2.0 版本!! 我在前面的文章里面有写了 虚拟串口通信,虽然说能用,但是用过的小伙伴都说 “好!” 优缺点: 先说一点,2.0版本并不适用于同硬件串口的所有场合,仅仅针对自己开发的电子垃圾的主…

[office] 网优必备的10大经典函数公式! #知识分享#媒体

网优必备的10大经典函数公式! Excel软件看似简单,其实花样很多,尤其Excel表格。但其实只要用心多练,效率轻松提升个十倍百倍真不是问题!赶紧一起来get新技能吧~ ▋函数公式一 我们都知道从网管中查询出来的经纬度是没有小数点的。我看到不…

护眼灯色温多少合适?推荐五款合适色温的护眼台灯

很多人在购买台灯之后只会根据周围环境灯光的明暗调节亮度,对于色温的了解并不多,不知道色温应该调节到什么数值比较合适,有些人也根本没有意识到色温在影响人情绪方面起着重要作用,接下来就一起来看一下色温的标准。 一、什么色…

Day4.

单链表 #include <head.h>typedef struct List{int value;struct List *pointe; }*list; list create_space() {list s(struct List *)malloc(sizeof(struct List)); //向堆区申请空间s->pointe NULL;//初始化s->value 0;return s; } list inserhead_list(lis…

AI改编游戏大电影《使命召唤:幽灵重生》(下)

AI改编游戏大电影《使命召唤&#xff1a;幽灵重生》&#xff08;下&#xff09; 幽灵重生携生化武器毁灭人类&#xff0c;普莱斯上尉点上雪茄拿起武器&#xff0c;英雄再次迎来使命的召唤&#xff01; 《使命召唤&#xff1a;幽灵重生》&#xff08;下&#xff09;&#xff1a…