高级及架构师高频应用型面试题

一、微服务多节点批量应该怎么设计?

1、异步任务分类:

  1. 周期性定时任务调度任务
  2. 批量任务

2、需要考虑并解决的问题:

2.1、避免同一任务同时被多个节点捞取。

        1)数据库的行级锁

        2)redis分布式锁

        3)quartz集群

2.2、需要考虑各节点的本地系统时间差问题。

        场景:某个节点如果很快执行完定时调度任务,另外一个节点的本地时间才到预计执行时间那么就会造成同一个调度任务被重复执行的情况。

        解决办法:

        1)如果使用的数据库,如果采用关系型数据库进行控制,那么任务数据行除了添加执行状态,再增加预计执行完时间字段,每次调度时需要判定系统时间是否大于上一次预计执行完时间,只有大于才会执行,小于说明该任务的本次调度已经被其他节点执行过了,那么所有节点都去争抢下一次执行。

        2)如果使用的redis,则需要带上过期时间并支持续约。

2.3、批量任务需要多节点协同完成

        场景:调用服务发生超时需要进行超时结果确认,将超时确认任务插入任务表等待批量任务调度挨个去执行查证。

        解决方案:

        1)每个节点捞取当前待执行任务状态的任务,如果为0则return,如果不为0则将任务状态变更为执行中,如果更新的条数和查询的条数相等,则执行,否则自调用。如果调度频率较高,可能导致部分节点一直处于自旋状态浪费性能。

        2)增加slot槽点字段(假设在0-1000进行随机),每个节点在查询执行任务之前先计算开始槽点和结束槽点(先通过服务发现查询当前存在的所有批量节点(假设5个)并排序,找到自己的序号(假设为3),开始槽点=1000/5*(3-1),结束槽点就等于开始槽点+1000/5),然后带上槽点条件进行查询。

        3)使用消息队列,每个节点从消息队列获取任务执行。

二、分表后的分页查询问题怎么解决?

1、场景1:历史表和当前业务表分页查询

        如果根据日期排序且查询日期区间有数据落到历史表,则可以先查历史表,然后判断查询结果是否等于pageSize,如果等于0,则查询历史表的total,然后根据total计算应该查询当前表的行数。

2、场景2:按拆分字段水平拆分多个表后的分页查询

       方案1) 全局视野法:

        将所有分表从0开始到当前查询页的数据都查出来到内存中进行重新排序并取出当前页的数据。

        缺点:随着页数增加,会导致内存占用过大。

        方案2)禁止跳页查询:

        不允许跳页查询,只能查下一页,查询时记住每个分表的最大值,然后下一页查询时只需去取每个分表从最大值下一个值开始的一页数据回来到内存中重新排序计算并记录新的最大值。

        缺点:不支持跳页查询

        方案3)二次查询法:

        1)limit offset(all) pageSize 改写成:limit offset(all)/nodeSize pageSize

        用改写后的sql去每个分表查询;

        2)上一步查询的所有分表结果合并后取最小值minInall,合并前每个分表查询结果的最大值为max(i),再改写sql为:between minInall and max(i);

        3)找出minInall在各个分表中的下标为offset(i),则可以计算出minInall在全局视野中的offset,offset(minInall)=offset(1)+offset(2)+offset(3)+...+offset(nodeSize)。

        4)将第2)步中查到的所有结果进行排序,根据offset(all)和offset(minInall)的大小关系可以从排序结果中精确取出需要页的精确数据。

        缺点:只适合于分表数据分布均衡的情况。因为第二次查询取出的数据量大小与每个分表的数据分布情况有关,如果数据分布非常均衡,则可以做到第二次查询每个分表只取出一页的数据量,如果数据分布不均衡则最坏情况下会退化成全局视野法的情况(比如极端情况:每个分表的数据都是按日期升序,这种情况可以根据分表的日期区间升序规律简化算法为场景1的情况)

详细可参考下面博客:

https://www.51cto.com/article/596385.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/875782.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

后端面试题日常练-day06 【Java基础】

题目 希望这些选择题能够帮助您进行后端面试的准备,答案在文末 在Java中,以下哪个关键字用于表示类之间的关联性,表明一个类包含另一个类的对象? a) include b) contain c) reference d) composition Java中的方法重写&#xff…

Python写UI自动化--playwright(通过UI文本匹配实现定位)

本篇简单拓展一下元素定位技巧,通过UI界面的文本去实现定位 目录 匹配XPath 匹配文本元素 .count()统计匹配数量 处理匹配文本返回多个元素 1、使用.nth(index)选择特定元素: 2、获取所有匹配的元素并遍历: 3、错误处理: 匹配XPath 比如我们要定位到下图的…

C++笔试强训8

文章目录 一、选择题1-5题6-10题 二、编程题题目一题目二 一、选择题 1-5题 根据下面的定义故选A。 函数重载:在相同作用域中,函数名字相同,参数列表不同的一系列函数称为函数重载参数列表不同具体的体现:参数个数不同参数类型不同类型的次序不同注意:…

单元测试--Junit

Junit是Java的单元测试框架提供了一些注解方便我们进行单元测试 1. 常用注解 常用注解&#xff1a; TestBeforeAll&#xff0c;AfterAllBeforeEach&#xff0c;AfterEach 使用这些注解需要先引入依赖&#xff1a; <dependency><groupId>org.junit.jupiter<…

6 C 语言指针的奥秘:理论与实践详解

目录 1 变量访问机制 1.1 内存地址 1.2 变量的直接访问 1.3 变量的间接访问 2 指针变量及其内存大小 2.1 指针与指针变量 2.2 指针变量的定义格式 2.3 指针变量的内存大小 3 取地址操作符与取值操作符 3.1 取地址操作符 & 3.2 取值操作符 * 3.3 解引用与数据类…

Xcode是什么?它在iOS开发中的作用和功能有哪些?

Xcode是苹果公司为macOS平台开发的一款集成开发环境&#xff08;Integrated Development Environment&#xff0c;简称IDE&#xff09;&#xff0c;它主要用于开发iOS、iPadOS、macOS、watchOS和tvOS的应用程序。Xcode集成了从编写代码、界面设计、调试程序、版本控制到应用发布…

【数据结构】顺序表(杨辉三角、简单的洗牌算法)

&#x1f387;&#x1f389;&#x1f389;&#x1f389;点进来你就是我的人了 博主主页&#xff1a;&#x1f648;&#x1f648;&#x1f648;戳一戳&#xff0c;欢迎大佬指点&#xff01; 欢迎志同道合的朋友一起加油喔 &#x1f4aa;&#x1f4aa;&#x1f4aa; 谢谢你这么帅…

pandas.core.series.Series 转json

在Python中&#xff0c;可以使用Pandas库中的Series.to_json()方法将Series对象转换为JSON格式的字符串。以下是一个简单的例子&#xff1a; import pandas as pd# 创建一个Pandas Seriess pd.Series({a: 1, b: 2, c: 3})# 转换为JSON字符串json_str s.to_json(orientrecords…

Android SurfaceFlinger——通知消费流程(三十五)

上一篇文章介绍了 onFrameAvailable() 函数的流程&#xff0c;最终回调到了 BLASTBufferQueue 中&#xff0c;这里测处理跟 Android 老版本还是有区别的&#xff0c;在 BLASTBufferQueue 中通过提交事务的方式通知 SurfaceFlinger 进行更新&#xff0c;而不是老版本中的直接调用…

学习React(描述 UI)

React 是一个用于构建用户界面&#xff08;UI&#xff09;的 JavaScript 库&#xff0c;用户界面由按钮、文本和图像等小单元内容构建而成。React 帮助你把它们组合成可重用、可嵌套的 组件。从 web 端网站到移动端应用&#xff0c;屏幕上的所有内容都可以被分解成组件。在本章…

netty应用-手写RPC

文章目录 手写RPC之案例定位与通信过程介绍RPC框架案例定位服务端与客户端架构通信过程1. 服务注册与发现2. 请求序列化与传输3. 请求处理与响应4. 响应反序列化与结果处理实现细节1. 服务端2. 客户端技术选型关键挑战总结手写RPC之请求响应通信协议定制协议结构示例消息头格式…

GO集成方式、Java文字识别接口集成方法

我们现在经常使用到的那些软件、APP、微信小程序产品来说&#xff0c;在注册的时候需要手动填写一些证件信息的时候已经可以通过上传证件照片自动填写信息了&#xff0c;这就是OCR API的功劳&#xff0c;接入翔云OCR API的系统可以自动识别用户上传的证件信息并填写到相应的栏目…

优化医疗数据管理:Kettle ETL 数据采集方案详解

在现代医疗保健领域&#xff0c;数据的准确性、完整性和及时性对于提高医疗服务质量和患者护理至关重要。为了有效管理和利用医疗数据&#xff0c;Kettle ETL&#xff08;Extract, Transform, Load&#xff09;数据采集方案成为了许多医疗机构的首选工具之一。本文将深入探讨Ke…

【基础算法总结】队列 + 宽搜(BFS)

队列 宽搜BFS 1.N 叉树的层序遍历2.二叉树的锯齿形层序遍历3.二叉树最大宽度4.在每个树行中找最大值 点赞&#x1f44d;&#x1f44d;收藏&#x1f31f;&#x1f31f;关注&#x1f496;&#x1f496; 你的支持是对我最大的鼓励&#xff0c;我们一起努力吧!&#x1f603;&#…

MySQL作业五

1. 创建表goods&#xff0c;orders 2. 向商品表中插入商品记录 3. 触发器操作 3.1 建立触发器&#xff0c;订单表中增加订单数量后&#xff0c;商品表商品数量同步减少对应的商品订单出数量,并测试 3.2 建立触发器&#xff0c;实现功能:客户取消订单&#xff0c;恢复商品表对应…

C语言文件锁Linux

在C语言中&#xff0c;flock 是一个用于文件锁定的函数&#xff0c;定义在 sys/file.h 头文件中。它的主要目的是在对文件进行读写操作时&#xff0c;避免其他进程同时访问文件&#xff0c;以实现文件的并发控制。 flock 函数的原型 #include <sys/file.h>int flock(in…

java数据结构之排序

前言&#xff1a; 排序在我们日常生活中随处可见&#xff0c;这里将介绍java数据结构里面常见的几种排序。 ps: swap函数的实现&#xff1a; public void swap(int[] arr, int i, int j) {int tmp arr[i];arr[i] arr[j];arr[j] tmp; } 1.直接插入排序 &#xff08;1&a…

类与对象(补充)

初始化列表 1. 之前我们实现构造函数时&#xff0c;初始化成员变量主要使用函数体内赋值&#xff0c;构造函数初始化还有一种方式&#xff0c;就是初始化列表&#xff0c;初始化列表的使用方式是以一个冒号开始&#xff0c;接着是一个以逗号分隔的数据成员列表&#xff0c;每个…

【OpenCV C++20 学习笔记】序列化——XML和YAML文件处理

序列化——XML和YAML文件处理 序列化和反序列化代码实现XML/YAML文件的打开和关闭写入或读取文本和数字写入或读取OpenCV数据写入或读取数组以及map读取和写入自定义数据类型 输出结果 序列化和反序列化 如果希望永久保存某些对象&#xff0c;而不是每次运行程序的时候重新创建…

经典文献阅读之--LIV-GaussMap(实时3D辐射场地图渲染的LiDAR惯性视觉融合算法)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务&#xff0c;并且需要GPU资源&#xff0c;可以考虑使用UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU&#xff0c;按时收费每卡2.6元&#xff0c;月卡只需要1.7元每小时&…