面试集中营—场景面试题A

一、线上几百万的消息积压如何处理?

1、第一步我们要首先确定是什么导致的消息积压,基本上三个原因

  •   消费者处理消息速度慢;
  •   生产者生产消息速度太快;
  •   消息处理流程异常导致大量重试;

       线上消息积压第一步先看日志,是否在消费端出现了系统异常,系统异常有可能是磁盘满了,挂载盘故障了,网络不稳定或者有黑客入侵植入了其他程序侵占了系统资源等等。

       系统异常排除,就通过日志查看是否存在业务异常,是否有大量的报错信息,如果存在那么应该是代码的问题,此时就要快速修复问题,然后上线。

       如果不是代码的问题,那么就要考虑当前消费线程的执行时间是否过长,每次消费的时间太长也会造成消息的积压,通过各种工具可以检测到消费的时长,如果很长那么也需要优化代码。

       优化代码毕竟需要时间,此时就需要临时增加消费端的实例数量,或者暂时关闭或者降级生产者的部分功能(比如暂停批量导入,定时同步等),同时时刻关注积压消息的数量。

       最后在有能力或者有可能得情况下,通过调整MQ的参数来提升性能,当然对于很多公司是直接使用的云服务的情况下,可以不考虑这块儿。

二、如何不停机进行数据的迁移?

       这里有两个要求,一个是数据迁移,另一个是不停机。这里我们假设是从A库迁移到B库。

       1、应该设定一个时间节点,比如2024年1月1日,先把这个事件点之前的数据全部通过数据迁移的方式迁移到B库中。

      2、要不停机,就必须有一段时间是双写,在2024年1月1日以后的,就要设置双写逻辑,新写入的数据在A、B两个库进行双写。

       3、此时再启动一个程序做数据对比和同步的工作,就是把A库和B库的每条数据进行比对,并对B库进行更新。

       4、稳定运行一段时间后,先把读请求切换到新库中,最后把写请求也切换到新库中。

三、大量数据批量过期通知

       这类问题一般是比如我有200万的注册用户,或者会员用户,到期时间不同,那么如何设计能提前一天通知用户会员到期了呢?

       这里要区分是一个点,如果是每天零点通知一次,那么可以通过定时任务轮询的方式,把今天要到期的用户都查出来,然后统一发送邮件或者短信等等;

      如果不是定时推送,而是根据过期时间推送,这就变成了延时任务的实现,一般可以使用redis的键过期监听或者rocketmq的延时任务来实现。

四、在2G大小的文件中,快速找出高频Top100的单词

        2G大小的文件如果一次性加载到内存中,估计面试就可以回家等通知了。我们必须要使用分治法。

        所以第一步一定是分割,分割成多少呢,不用太纠结,1MB,512K都可以。比如1MB,那么2GB的文件就会被分割成2048个小文件。

        分割之后,第二步就是统计,统计每个文件中,每个单词的出现的次数。这里可以使用一个2048大小的hash数组。数组的每一个index对应其中一个文件。

        最后一步就是提取,只要是什么top100,top100,我们就采用堆这个数据类型,用容量为100的小顶堆。

        具体代码可以参考下面这篇文章:

在 2G 大小的文件中,找出高频 top100 的单词_统计100个高频单词的代码、-CSDN博客

五、对接第三方接口需要注意什么?

        这个问题就比较灵活了,但是一般可以从如下几个方面来表达。

        1、安全性问题:接口是https的吗?是否有比如sign校验,或者数据加密等操作。

        2、稳定性问题:接口是否稳定,可承受的最大并发是多少。

        3、经济性问题:接口调用一次多少钱,有没有最大调用限制。

六、单表数据量大的时候,影响查询效率的都有哪些?

         1、磁盘IO,使用

         2、索引失效,有坑你是

         3、数据分页,数据分页要占用大量的CPU资源

         4、锁竞争,同时读写操作,会产生

         5、数量大就要更大的内存来缓存

七、如何考虑分库分表?

        首先这个问题应该问的是mysql,如果是oracle,单库oracle的单表存储一亿条数据,在做好了分区的情况下,查询的性能也是可以保障的。

      什么情况下需要分库分表

        1、在分布式的场景下,使用微服务构建的后台系统,在有条件的情况可以先分库,尽量在业务逻辑拆分的情况下,数据库也是拆分的。这样单个微服务在上线维护的时候很便利不会影响到其他的微服务;

         2、影响数据库性能的主要有几个方面:

         一个是网络IO,当请求量很大,单个数据库无法招架的时候,不管你数据量级是多少,哪怕就几万的数据也得考虑分库;

         第二就是数据量级,阿里的数据专家建议单表的存储不要超过500万条,这里是基于数据库的性能,查询的优化和索引的性能,还有数据备份与恢复的总和考量得出的,我们可以根据自身的系统情况定一个标准,超过了数据量级就需要考虑分表;

         3、能不切分尽量不要切分

         在很多的场景下, 只需要做读写分离就可以满足大部分的需求了,不需要一开始就进行分库分表的操作,第一提升了业务的复杂度和维度的难度,第二还增加了硬件的开销。

      分表方式

         根据上一个问题的回答,我们可以总结出分表的几种方式

        1、垂直分表:这主要是考虑到单行字段过多或者单字段存储过大,比如存在blob字段,大文本字段,甚至有些二进制字段等等,此时可以对单表的字段进行拆分,将一张表拆分成主表,副表,副表2等,大部分的查询只需要针对主表即可;

        2、水平拆分:这就主要是考虑单表的性能,一般出现在单表数据量超过百万的情况下。此时就要按记录(行)分成多张表,分完后结构仍相同。水平拆分有一定的拆分规则,常见的规则如下:

        a、主键自增分表,前100万条放在表1,每增加100万条数据就增加一张表,这主要适用于类似日志的查询,或者只需要查询近一个月数据这样的场景;

        b、主键取模分表,这就是完全的离散分表,如果分成两个表,那么每个表的主键自增步长都设置为2,这种分表模式也是常见的分表,主要是为了应对大数据量的查询,可以把查询压力分散到不同的表中(或者库中)。

       c、按业务模型分表,比如电商经常会根据user_id来进行分表,这有一个好处,就是对同一个用户的查询永远是单表查询。但是也会造成数据表的数据不平衡,因为很有可能某些用户下单量大,某些用户下单量小。

       d、按时间分表:这种也常见,对于某些日志的存储,业务上就需要按照月份进行统计或者查询,那么按照时间分表就很适合。

    分库分表引发的问题  

问题问题描述解决方法
事务一致性跨库、表的分布式事务问题比如数据库拆分后,订单和库存在两个库中,一个下单减库存的操作,就涉及跨库事务。分布式事务中间件,实现 TCC 等事务模型;也可以使用基于本地消息表的分布式事务实现。
跨节点关联查询、分页、排序函数等查询的数据存在于多表、多库之间,SQL无法正常执行

1)利用中间件比如Mycat、ShardingSphere

2)  把关联数据放在同一个库中,避免夸库查询

3)把需要夸库查询的数据塞入ES中

主键避重分布式id问题uuid、雪花算法、数据库维护区间分配等

    分库分表中间件

分库分表中间件优点缺点性质
mycat独立部署,使用不需要修改代码;性能高,JDBC 直连数据库,无需二次转发配置比较复杂,分布式事务还需要做一些配置代理模式
Sharding-JDBC化分库分表之后数据相关操作,它一个轻量级的Java框架,是增强版的JDBC驱动,以jar包的形式提供引入非常简单,适用于很多ORM框架以及数据库连接池

嵌入式,要修改代码;

仅支持java

jar包,JDBC层
ShardingSphere由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar 这三款相互独立的产品组成支持多种语言代理模式、JDBC层

        蘑菇街的TSharding、携程开源的Ctrip-DAL和Sharding-JDBC相似,都是对JDBC驱动的扩展,就不单独列出来了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/2899.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue 实现 word 下载的方式

实现思路 下载任何文件的思路相同,只需配置相应的文件类型即可。 (1)使用 axios 从服务器获取文件的二进制数据; (2)在 axios 中设置 responseType 为 blob,指定处理 二进制数据; …

【刷题】搜索——DFS:DFS求排列和组合

排列 A n m A_n^m Anm​ 输入&#xff1a; 4 2 输出&#xff1a; 1 2 1 3 1 4 2 1 2 3 2 4 3 1 3 2 3 4 4 1 4 2 4 3 #include <iostream> #include <algorithm> #include <vector> using namespace std;int n, m; int a[100]; bool st[100]; void dfs(int …

记录好用的python包

记录好用的python包 PipxCentos 安装pipx确保 Pip 被安装更新 Pip安装 Pipx添加 Pipx 到 PATH临时添加到 PATH:永久添加到 PATH: 验证 Pipx 安装 Poetry安装准备工作创建虚拟环境激活虚拟环境安装包追踪 & 更新包常用配置pycharm 远程连接poetry创建的虚拟环境参考链接 cen…

Java基础入门day36

day36 js dom控制css变化 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title>…

【刷题】代码随想录算法训练营第二十二天|235、二叉搜索树的最近公共祖先,701、二叉搜索树中的插入操作,450、删除二叉搜索树中的节点

目录 235、二叉搜索树的最近公共祖先701、二叉搜索树中的插入操作450、删除 235、二叉搜索树的最近公共祖先 讲解&#xff1a; 回忆一下递归的三部曲&#xff0c;以这题为例。 1、参数&#xff1a; 当前节点和两个节点。 Treenode* cur, Treenode*p, Treenode*q2、递归终止条…

prometheus配置监控Java应用服务

程序员的公众号&#xff1a;源1024&#xff0c;获取更多资料&#xff0c;无加密无套路&#xff01; 最近整理了一份大厂面试资料《史上最全大厂面试题》&#xff0c;Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等 …

JAVA----Thread

Thread 这里写目录标题 Thread线程Thread 第 1 种写法此外, t.start()的作用 Thread 第 2 种写法Thread 第 3 种写法Thread 第 4 种写法Thread 第 5 种写法 线程 本身是操作系统提供的, 操作系统提供了 API 以让我们操作线程, JVM 就对操作系统 API 进行了封装. 线程这里, 则提…

PVE虚拟机隐藏状态栏虚拟设备

虚拟机启动后&#xff0c;状态栏会出现一些虚拟设备&#xff0c;点击弹出会导致虚拟机无法使用。 解决方案&#xff1a; 1、在桌面新建disable_virtio_removale.bat文件&#xff0c;内容如下&#xff1a; ECHO OFF FOR /f %%A IN (reg query "HKLM\SYSTEM\CurrentContro…

【注释和反射】类加载的过程

继上一篇博客【注释和反射】获取class类实例的方法-CSDN博客 目录 三、类加载的过程 例子 三、类加载的过程 在Java虚拟机&#xff08;JVM&#xff09;中&#xff0c;类加载是一个将类的字节码文件从文件系统或其他来源加载到JVM的内存中&#xff0c;并将其转换为类或接口的…

JSON基础

JSON JavaScript Object Notation(js对象标记法) JSON定义 {"name":"Tom","age":20,"gender":"male" }JSON格式中的键必须使用双引号括上 因为其语法格式简单,层次结构鲜明,多作为数据载体在网络中进行数据传输 JSON定…

【语音识别】搭建本地的语音转文字系统:FunASR

参考自&#xff1a; 参考配置&#xff1a;FunASR/runtime/docs/SDK_advanced_guide_offline_zh.md at main alibaba-damo-academy/FunASR (github.com)参考配置&#xff1a;FunASR/runtime/quick_start_zh.md at 861147c7308b91068ffa02724fdf74ee623a909e alibaba-damo-aca…

猎聘爬虫(附源码)

废话不多说直接附源码 cookies需要替换成自己的 , 该网站在不登录的情况下只能请求到10页数据 , 想要获得完整数据需要携带登录后的cookies import requests import json from lxml import etree import os import openpyxlheaders {"Accept": "application/…

年如何在不丢失数据的情况下解锁锁定的 Android 手机?

当您忘记密码、PIN 码或图案并且想要解锁 Android 手机时&#xff0c;您可能会丢失 Android 手机上的数据。但您无需再担心&#xff0c;因为在这里&#xff0c;我们想出了几种解锁锁定的 Android 手机而不丢失数据的方法。 方法 1. 使用 Android Unlock 解锁锁定的 Android 且不…

Java中的异常和错误

Exception ArrayIndexOutOfBoundsException&#xff08;数组下标越界&#xff09; NullPionterException&#xff08;空指针异常&#xff09; ArithmeticException&#xff08;算数异常&#xff09; MissingResourceException&#xff08;丢失资源&#xff09; ClassNotFo…

记录一次WLAN Panic导致的gcore问题分析

记录一次WLAN Panic导致的gcore问题分析 背景 高通QA架构问题出现在几天前&#xff0c;测试同事大面积报出了开机后直接卡死的问题&#xff1b;经过初步分析&#xff0c;确认是进入了Guest Coredump&#xff08;gcore&#xff09; 分析 确认直接原因 解析gcore文件&#x…

信息收集分类

在信息收集中&#xff0c;需要收集的信息&#xff1a;目标主机的DNS信息、目标IP地址、子域名、旁站和C段、CMS类型、敏感目录、端口信息、操作系统版本、网站架构、漏洞信息、服务器与中间件信息、邮箱、人员、地址等。 信息收集区别 主动信息收集&#xff1a;直接与目标信息发…

mathtype设置公式编号,公式居中以及编号靠右

在word中实现&#xff1a; 1. 首先点击栏&#xff0c;选择更多栏去看 看到栏的宽度&#xff0c;然后去设置样式 在开始-样式中设置,新建样式&#xff1a; 新建样式&#xff0c;然后设置格式-制表位&#xff0c;选择对齐方式&#xff0c;居中对齐设置刚才的一半&#xff0c;右…

RK3568 学习笔记 : u-boot 千兆网络功能验证

前言 开发板型号&#xff1a; 【正点原子】 的 RK3568 开发板 使用 虚拟机 ubuntu 20.04 编译 RK3568 Linux SDK&#xff0c;生成镜像&#xff0c;烧写后&#xff0c;Linux 系统正常启动 开启后可以使用 CTRLC 进入 u-boot 本篇验证一下 u-boot 下网络功能 【正点原子】 rk…

MATLAB 运算符

MATLAB 运算符 运算符是一个符号&#xff0c;告诉编译器执行特定的数学或逻辑操作。MATLAB设计为主要在整个矩阵和数组上运行。因此&#xff0c;MATLAB中的运算符既可以处理标量数据&#xff0c;也可以处理非标量数据。MATLAB允许以下类型的基本运算- 算术运算符 关系运算符…

JavaScript:js基础1

JavaScript 一门跨平台,面向对象的脚本语言,来控制网页行文使网页可交互 JavaScript引入方式: <script>alert("Hello JS") </script>js语句必须在 <script>标签之间,在html文档中,可以在任意地方,放置任意数量的script 一般会把脚本置于 <…