业务系统核心模块资料访问性能优化实战

随着业务系统的云化转型不断推进,业务量呈现显著增长,对业务系统的性能和资源管理提出了更高要求。在这样的背景下,实现系统资源使用与性能指标的均衡成为保障生产系统高效稳定运行的核心任务。

在性能优化的范畴内,核心业务系统对于用户信息查询的处理能力需具备高度性能及精确性,这部分优化向来都是最具挑战性的任务。普通的缓存机制往往无法满足这些严格的需求。因此,我们采取了分布式内存数据库,即高级缓存策略,于应用客户端构建起高效且精确的本地缓存机制,以应对这一难题。然而,随着用户数量及数据量的持续增长,高速缓存对内存资源的消耗也在持续扩大。如何在内存占用与业务性能之间达成有效的平衡,成为系统后续演进及效能提升的关键所在。

为解决相关问题,浩鲸科技提出了一种创新的性能优化策略。该策略主要涉及对系统内各模块中相同维度数据查询频率的深入分析,以开发出高频数据缓存技术,目标是减少批量话单处理中的重复数据查询效率问题,实现无干扰的高精度数据缓存复用。

在某省的云迁移项目实际对账操作中,这项技术与高速缓存技术相融合,成功实现了性能的整体提升,范围在2.4至7倍之间,同时显著减少了应用服务器的内存占用,降低了约20%。最终,实现了超过23万的话单处理端到端性能提升,以及部分模块40万+的处理性能巨幅增长。

某省采用新方案后的业务系统性能优化效果

01 业务系统资料查询优化迫在眉睫

系统实现了应用与数据的解耦,极大地提升了系统的并发处理能力。然而,在某些关键业务场景中,数据访问的时延成为性能瓶颈,尤其是在批价、合账、提醒及账期应用等环节。这些业务对数据访问的速度要求极高,主要体现在以下几个方面:

为了应对这些挑战,采用高速缓存技术进行大规模用户资料的映射存储成为一种有效的策略。这不仅确保了数据的准确性,还提高了数据访问的本地响应速度。然而,随着用户资料量的持续增长,单个宿主机的内存占用也从200+GB上升到了400+GB。这种趋势表明,单靠高速缓存技术已难以满足现有需求。

因此,在高频查询、批量查询的业务场景下,如何在减少内存占用的同时,确保核心业务系统中用户资料的低时延查询,已成为优化业务系统性能的关键任务。这不仅是技术上的挑战,更是业务发展的必然要求。

02 业务系统资料访问场景分析

为了解决上述问题,我们对业务数据的访问特性进行了深入分析。在排除了涉及账期应用的全面遍历查询情况后,问题的核心集中在批量查询和高频率查询的场景上。

高频查询类业务性能瓶颈分析

在处理话单业务的场景中,高频查询指的是那些频繁需要进行数据检索的操作。在云计算的架构下,每次对数据的访问都会引起一定的网络性能损失。随着这种访问频率的增加,系统的整体性能将以指数方式递减。

某省话单压测数据访问与访问频率汇总

在实际操作中,以实例数据为核心的高频访问操作往往涉及对单个话单的访问超过6次,且频繁出现对相同数据的重复查询。通过深入的场景配置分析,我们追溯到这一现象的根源在于话单处理的内部属性与外部属性之间的显著差异。在处理话单的过程中,尤其是对于定价领域的参照值,常常需要结合外部属性进行操作。这些外部属性各自独立,互不干涉,也因此无法自动判断数据是否可以进行关联复用。

批量查询类业务性能瓶颈分析

批量查询的设计意图在于一次性通过远程交互获取多项数据,以此显著降低单条数据检索的等待时间。理论上,这种平均化的时间延迟不应对系统性能产生根本性的影响,即使不使用高速缓存。然而,实际的测试表现并未达到预期标准。

并发批量查询时万兆网上行带宽占满

监控数据显示,一旦部分表从高速缓存中移出,组网的万兆带宽会立即被占满。这表明,单从业务场景和监控数据进行分析已不足够,需要结合更细致的业务访问操作进行综合分析,并对每张表的访问频率和带宽资源占用进行量化。

为了细致分析业务实际访问的操作,团队迅速完善了业务数据访问接口的调用链埋点,实现了表级别的接口数据采集。同时,对访问维度进行了数据接口级别的埋点,特别关注了关键维度如销售品、用户和实例等。通过对163355条话单的测试分析,我们获得了以下关键数据:

某省话单压测数据访问与带宽关系汇总

通过数据分析,发现产品实例关系表的批量查询操作中,单次查询平均返回1083条记录,每条数据的网络开销极小。然而,在12万TPS的负载下,这种操作将达到万兆带宽的上限,这与监控验证的结论相符。

资料访问场景分析总结

综上所述,对业务系统资料访问中的性能损耗就能做到有的放矢:

对于涉及高频重复查询的表。使用高速缓存方案存储会占用几百GB的内存,而全集数据使用并不频繁,导致大量内存均存在冗余浪费。因此,需要重新设计更合理的缓存策略。

对于涉及批量查询的产品实例关系表。业务会在短期内扫描大量数据,导致万兆网带宽立即占满,而产生影响的表仅为产品实例关系表。因此,需要考虑采用高速缓存并只对单表进行缓存支持。

通过这种分治策略,我们可以针对性地解决复杂问题,选择适当的场景应用高速缓存,并对高频重复数据查询的场景进行优化,从而实现业务系统全流程的性能提升。

03 在业务系统资料访问流程优化中有的放矢

高频查询类业务优化:高频资料缓存技术

当前面对的主要问题是优化处理高频重复访问的表操作,实现减少内存开销的前提下,完成业务性能的优化提升。

首先,在该特征下,存储在高速缓存中的大部分数据都非热频数据,导致缓存资源利用率不高。因此,需要将对应场景的数据从高速缓存中移出,从而节约大量内存资源,确保应用系统的资源充足。

其次,将这些重复访问的表按维度进行划分,区分出存在重复数据查询的场景,考虑在重复数据访问的过程中降低性能损耗。

最后,还要考虑对复杂业务系统的稳定性、准确性的影响,如何提升技术方案的可控性也是重中之重。

综上所述,对技术方案提出了如下四点要求:

为了实现上述特征,团队结合现状给出了一种高频资料缓存技术,在不依赖任何第三方组件的基础上,对数据访问层(DAO)进行了有效地优化,具体方案如下:

方案结合当前业务现状和产品特性,在DAO层采取了一系列先进的缓存管理策略,确保数据处理的优化与资源的最大化利用:

零侵入的方案实践效果:得益于业务系统架构的高可扩展性及先进性,高频资料缓存方案在DAO层就能完成维度数据缓存,对业务流程完全零侵入。

高准确的缓存留存机制:数据在DAO层按指定维度进行缓存,对相同维度的个性化SQL进行动态拆分处理,实现了单次缓存匹配多个数据接口的效果。应用在处理完指定批次话单数据后,还会及时销毁缓存中的数据,确保数据的准确有效。

精细化的数据缓存策略:业务系统应用针对每个批次的话单数据,特别是那些需要频繁访问且数据量较大的数据,执行专门的缓存策略。这些数据按红黑树进行存储,被缓存到定制的私有内存中,从而显著减少了系统与外部任何数据源的交互频率和相关开销。这不仅提高了数据处理的响应速度,也优化了系统资源的使用,单进程开销低于20MB。

通过这些策略的实施,业务系统不仅提高了处理效率,还确保了数据的安全性和准确性,为生产业务提供了更加可靠和高效的服务。

批量访问类业务优化:高速缓存单表适配

在特定的批量访问情境中,可能会出现带宽资源被过度消耗的情况,其根本原因在于一次性检索返回的数据量过大。鉴于该省的产品实例关联表数据不超过3亿条,预计内存消耗约为20GB。因此,我们建议采用高速缓存结合单表支持的策略,以此来显著降低带宽使用,缓解服务器负荷,同时确保数据访问的高效性和精确性。

04

系统优化成效

随着业务范围的持续扩展,业务系统正遭遇日益增长的性能压力。为了解决这些挑战并提高系统效率,我们的团队采取了一系列创新技术策略,特别是对高频数据缓存的优化工作:

☑️ 我们成功地整合了高速缓存技术与业务系统的缓存策略,从而对业务系统的数据查询性能进行了深度优化。这一改进显著加快了数据处理速度,缩短了系统响应时间,同时显著降低了网络带宽的负荷,有效释放了冗余的内存资源。

☑️ 此外,这些措施还显著增强了系统的可扩展性和可靠性,使其能够应对未来业务的快速扩展和增长。这些优化确保了业务系统能够持续提供高效、便捷且稳定的服务,满足当前需求,也为未来可能的变化和技术升级奠定了坚实基础。

☑️ 至关重要的是,这次的系统优化为后续的业务系统模块性能提升提供了宝贵的经验和指导方向。通过不断的技术创新和优化,业务系统将更好地适应业务需求,同时也能提供更广泛的支持和价值创造。

总之,本次优化提升了业务系统的性能和稳定性,也为应对未来的挑战和利用新机遇做好了充分准备,确保业务系统能够在动态的市场环境中实现持续的高质量发展。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/47884.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

苏州金龙海格汽车入选2024中国汽车行业可持续发展实践案例

2024年7月11日-13日,由中国汽车工业协会主办的第14届中国汽车论坛在上海嘉定举办。本届论坛隆重发布了“2024中国汽车行业可持续发展实践案例”,苏州金龙因在坚持绿色可持续发展方面做出的努力和贡献获评2024中国汽车行业可持续发展实践案例“绿色发展”…

【P2P_BMA_P2MP_NBMA】

基本概念介绍 1. BMA(Broadcast) 广播型多路访问技术,在一个MA(多路访问,在一个网段内的节点数量不限制。)网络中同时存在广播机制。 特点: 允许将数据包广播到网络上的所有主机。路由器之间…

【AI大模型Agent探索】深入探索实践 Qwen-Agent 的 Function Calling

系列篇章💥 No.文章1【Qwen部署实战】探索Qwen-7B-Chat:阿里云大型语言模型的对话实践2【Qwen2部署实战】Qwen2初体验:用Transformers打造智能聊天机器人3【Qwen2部署实战】探索Qwen2-7B:通过FastApi框架实现API的部署与调用4【Q…

PyTorch 深度学习实践-卷积神经网络基础篇

视频指路 参考博客笔记 参考笔记二 文章目录 上课笔记代码实现作业实现 上课笔记 如果一个网络全都是由线性层串联起来(torch.nn.Linear(xx, yy)),就叫他全连接的网络(左边节点到右边节点任意两个都存在权重) 先看一下吴恩达或者李宏毅老师…

QT通用配置文件库(QPreferences)

QT通用配置文件库(QPreferences) QPreferences项目是基于nlohmann/json的qt可视化配置文件库,将配置保存成json格式,并提供UI查看与修改,可通过cmake可快速添加进项目。默认支持基本类型、stl常用容器、基本类型与stl容器组成的结构体&#…

【Git标签管理】理解标签 | 创建标签 | 查看标签 | 删除标签 | 推送标签

目录 1.理解标签 2.创建标签 3.查看标签 4.删除本地仓库的标签 5.推送标签 6.删除远程仓库的标签 1.理解标签 Git提供一个打标签的功能tag,对某一次事务/提交的表示(作用/意义)。标签 tag ,可以简单的理解为是对某次 comm…

Java(二十二)---队列

文章目录 前言1.队列(Queue)的概念2.Queue的使用3.队列的模拟实现4.循环队列5.双端队列6.面试题[1. 用队列实现栈](https://leetcode.cn/problems/implement-stack-using-queues/description/)[2. 用栈实现队列](https://leetcode.cn/problems/implement-queue-using-stacks/de…

人工智能导论-机器学习

机器学习概述 概述 本章主要介绍的机器学习的概念、发展历程、发展趋势、相关应用,着重拓展机监督学习和无监督学习的相关知识。 重点:机器学习的定义和应用; 难点:机器学习算法及分类。 机器学习 - 重要性 MachineLeaning出…

<数据集>钢板缺陷检测数据集<目标检测>

数据集格式:VOCYOLO格式 图片数量:1986张 标注数量(xml文件个数):1986 标注数量(txt文件个数):1986 标注类别数:7 标注类别名称:[crescent gap, silk spot, water spot, weld line, oil spot, punchin…

工业圆点定位激光器主要应用场景有哪些?

在现代工业生产的各个领域,精确定位和高效操作已成为提升生产效率和产品质量的关键。其中,工业圆点定位激光器以其高精度、高效率的特性,成为了众多工业应用中的核心工具。接下来我们就跟着鑫优威一起来深入了解一下关于工业圆点定位激光器的…

抖音/快手/小红书私信卡片在线制作

W外链平台,作为现代网络营销领域的一颗璀璨明星,其强大的功能和独特的优势已经吸引了无数企业和个人的目光。在如今这个信息爆炸的时代,如何有效地将自己的网站、产品、服务推广出去,成为了每个营销人员都在思考的问题。而W外链平…

CentOS 7报错:yum命令报错 “ Cannot find a valid baseurl for repo: base/7/x86_6 ”

参考连接: 【linux】CentOS 7报错:yum命令报错 “ Cannot find a valid baseurl for repo: base/7/x86_6 ”_centos linux yum search ifconfig cannot find a val-CSDN博客 Centos7出现问题Cannot find a valid baseurl for repo: base/7/x86_64&…

uniapp 微信默认地图选点功能实现

效果图 配置项 微信公众平台-小程序配置 uniapp配置 上代码 <template><view class"content"><button click"toMap">请选择位置</button></view> </template><script setup lang"ts">function toMa…

Flink HA

目录 Flink HA集群规划 环境变量配置 masters配置 flink-conf.yaml配置 测试 Flink HA集群规划 FLink HA集群规划如下&#xff1a; IP地址主机名称Flink角色ZooKeeper角色192.168.128.111bigdata111masterQuorumPeerMain192.168.128.112bigdata112worker、masterQuorumPee…

Leetcode1929. 数组串联

问题描述&#xff1a; 给你一个长度为 n 的整数数组 nums 。请你构建一个长度为 2n 的答案数组 ans &#xff0c;数组下标 从 0 开始计数 &#xff0c;对于所有 0 < i < n 的 i &#xff0c;满足下述所有要求&#xff1a; ans[i] nums[i]ans[i n] nums[i] 具体而言…

Unity 导入MRTK,使用URP 升级材质,MRTK的材质还是洋红色

控制台显示信息 ToggleBackground material was not upgraded. There’s no upgrader to convert Mixed Reality Toolkit/Standard shader to selected pipeline UnityEditor.Rendering.Universal.UniversalRenderPipelineMaterialUpgrader:UpgradeProjectMaterials() (at 点击…

独立游戏《星尘异变》UE5 C++程序开发日志6——实现存档和基础设置系统

目录 一、存档类 1.创建一个SaveGame类 2.存储关卡内数据 3.加载关卡数据 4.关于定时器 5.存储全局数据 6.加载全局数据 二、存档栏 1.存档栏的数据结构 2.创建新存档 3.覆盖已有存档 4.删除存档 三、游戏的基础设置 1.存储游戏设置的数据结构 2.初始化设置 3.…

在国产芯片上实现YOLOv5/v8图像AI识别-【1.3】YOLOv5的介绍及使用(训练、导出)更多内容见视频

本专栏主要是提供一种国产化图像识别的解决方案&#xff0c;专栏中实现了YOLOv5/v8在国产化芯片上的使用部署&#xff0c;并可以实现网页端实时查看。根据自己的具体需求可以直接产品化部署使用。 B站配套视频&#xff1a;https://www.bilibili.com/video/BV1or421T74f 数据…

5.5 软件工程-系统测试

系统测试 - 意义和目的 系统测试 - 原则 系统测试 - 测试过程 系统测试 - 测试策略 系统测试 - 测试方法 真题 系统测试 - 测试用例设计 黑盒测试 白盒测试 真题 系统测试 - 调试 系统测试 - 软件度量 真题

vue 实现打字机效果

打字机效果组件&#xff0c;支持像打字机一样模仿键入文本。支持vue 插值语法和表格等打印 ps: 灵感来着于vue-type-writer 但是 这个组件过于简单 就自己整了一个 一、预览 二、代码 组件&#xff1a; <template><div :style"{ visibility: visibility }&qu…