Redis 基础数据改造

优质博文:IT-BLOG-CN

一、服务背景

基础数据查询服务:提供航司(5000家)、机场(4000)、票台(40000)、城市(4000)等基础数据信息。

痛点一:因为基础数据不属于频繁更新的数据,所以每个应用都有自己和缓存,当基础数据更新后,各个应用缓存刷新不及时就会导致应用数据不一致问题。
痛点二:应用请求量过大,导致基础数据库负载过高,影响其它应用的正常使用。
痛点三:每年都会有机场转场事件(比如:2019年北京南苑机场转场至北京大兴国际机场),要求在某个特定时间点新老机场转换并同时输出,调用方众多每次转场协调复杂,数据需要频繁清洗。

基础服务模块的功能:保证服务的数据一致性,并达到数据限流的目的。

数据请求情况:接口数72个,调用方763个,接口返回nKB~56+MBQPS:500,核数:9*16 + 6*8 = 192C

问题点:接口的可靠性(如果接口挂掉就会影响改签和下单流程)和数据的准确性(与数据库数据不一致时,会影响用户形成)。

二、基础数据模块

加载和更新机制:
【1】服务启动时预加载数据,验证数据源不可用性。点火时长50s,配置化加载核心数据。为了降低点火时间,也排除了一些非核心的数据。
【2】5分钟检查是否需要更新DataChangeLastTime+TotalCount
【3】24小时强刷和根据配置的缓存key强刷。记录每个key的最近一次缓存时间,24小时为离散刷新。
【4】缓存增量更新,因为数据量比较大。
【5】过载保护(检查数据变化量),可配置每个key的过载阈值,配置百分比或者数据量,比如airline:20条,city:10%。主要防止脏数据写入,或者大量数据的删除。此时会通过告警通知相关开发,手动进行缓存的更新,大概2分钟之内能够完成,主要防止数据问题。
【6】手动刷新机制:可通过工具手动刷新缓存,刷新维度可以精确到机器维度。
【7】部分接口准实时更新。主要是部分应用需要实时数据。

三、准实时更新

老逻辑:job十五分钟轮询基本数据表的变动情况,有变动则通知调用方刷新缓存。

新逻辑:

763服务获取基础数据应当直接获取Redis缓存数据,Redis数据搭建了集群环境,保证了可靠性。如果应用上云可以节省的内存,我们可以预算一下:

国内私有云AWS海外阿里云
9.5/G/月43/G/月23/G/月

这里按照应用最少获取4个基础数据信息(航司/机场/票台/城市)预估:4 * 56MB = 224MB,如果所有关联的服务都上云763 * 56MB = 40G,我们转换成Docer费用:AWS节省:40G * (43-9.5) = 1340/月,阿里云:40G * (23-9.5) = 540/月`

四、基础数据上云

SGP调用本地基础数据相对于虫洞回上海调用基础服务,网络延迟能够降低70ms+数据。

数据目前为单向同步,由上海业务人员进行维护。

五、缓存压缩

痛点:基础数据使用的是全量的缓存,所以数据量会很大。

优化点:
【1】使用原生的数据类型:单个对象可由230个字节降到80字节。 内存占用估算

原数据类型新数据类型
private Timestamp effectdateprivate long effectdate
private String flightprivate byte[] flight
private String isShareprivate boolean isShare
private String opFlightprivate byte[] opFlight
private Boolean isValidprivate boolean isValid

航班号字符串占用情况:

java.lang.String @ 0x234234322 HC8932   2456
char[6] @ 0x8089405204 HC8932 32 32

对象头12字节 + int类型4字节 + 数组引用4字节 + padding 4字节 = 24字节;
数组对象头16字节 + 字符数6 * char类型2字节 + padding 4字节 = 32字节;
24 + 32 = 56字节;

航班号byte[]占用情况:

flight byte[6] @0x843784596  24 24
<class> class byte[] @0x893457382 0 0

数组对象头16字节 + 字节数6字节 + padding 2字节 = 24字节;

优化完成之后的效果:老年代占用由8G降低到4G,降低50%Young GC的次数也由2降低到1次。

【2】取除中间POJO对象:直接缓存中间层对象,目前缓存的是契约中的对象。

六、缓存上移

1、pojo缓存更改为契约缓存;
2、序列化后+数据压缩再存入缓存;

压测结果:getCity接口,2.8M + 多语言资源后5M + 通过ZSTD压缩后1.5M

PB5M接口平均耗时350ms
PB+ZSTD1.5M接口平均耗时90ms

如果应用上云可以节省的内存,我们可以预算一下:

国内私有云AWS海外阿里云
6.425/G/月60/G/月25/G/月

七、优化点

【1】出现脏数据快速回滚:产品修改某条基础数据错误,导致业务不可用。方案:通过OSS存储历史版本,回滚时根据历史版本号获取历史数据。
【2】点火时间需要50s左右,数据可以一步加载减少点火耗时。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/59668.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

水库大坝安全监测预警方法

一、监测目标 为了确保水库大坝的结构安全性和运行稳定性&#xff0c;我们需要采取一系列措施来预防和减少因自然灾害或其他潜在因素所引发的灾害损失。这不仅有助于保障广大人民群众的生命财产安全&#xff0c;还能确保水资源的合理利用和可持续发展。通过加强大坝的监测和维护…

在Scrapy爬虫中应用Crawlera进行反爬虫策略

在互联网时代&#xff0c;数据成为了企业竞争的关键资源。然而&#xff0c;许多网站为了保护自身数据&#xff0c;会采取各种反爬虫技术来阻止爬虫的访问。Scrapy作为一个强大的爬虫框架&#xff0c;虽然能够高效地抓取网页数据&#xff0c;但在面对复杂的反爬虫机制时&#xf…

day20:三剑客——awk基础

一&#xff0c;概述 AWK 是一种用于处理文本和数据的编程语言&#xff0c;特别擅长用于处理格式化文本文件。它通过将输入数据分成字段&#xff0c;逐行进行处理&#xff0c;广泛应用于数据分析、文本处理和系统管理中。 二&#xff0c;使用方式 命令模式&#xff08;重点&a…

深度学习基础练习:从pytorch API出发复现LSTM与LSTMP

2024/11/5-2024/11/7&#xff1a; 前置知识&#xff1a; [译] 理解 LSTM(Long Short-Term Memory, LSTM) 网络 - wangduo - 博客园 【官方双语】LSTM&#xff08;长短期记忆神经网络&#xff09;StatQuest_哔哩哔哩_bilibili 大部分思路来自于&#xff1a; PyTorch LSTM和LSTMP…

半导体企业如何利用 Jira 应对复杂商业变局?

以下是一篇关于如何利用 Jira 构建半导体企业数字化研发管理蓝图的文章。借鉴了 ONES 案例中的思路&#xff0c;并结合了 Jira 的特点&#xff0c;为半导体企业在复杂商业环境下进行数字化转型提供支持&#xff1a; 半导体企业如何利用 Jira 应对复杂商业变局&#xff1f; 在全…

嵌入式开发之进程执行另外程序

进程-exec函数族 进程调用exec函数族执行某个程序进程当前内容被指定的程序替换实现让父子进程执行不同的程序,父进程创建子进程,子进程调用exec函数族,父进程不受影响,例如:shell,接收程序名称,执行用户指定的程序。1、进程-execl/execlp //进程-execl/execlp #includ…

L1G3000 提示工程(Prompt Engineering)

什么是Prompt(提示词)? Prompt是一种灵活、多样化的输入方式&#xff0c;可以用于指导大语言模型生成各种类型的内容。什么是提示工程? 提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。 六大基本原则: 指令要清晰提供参考内容复杂的任务拆…

【Rust设计模式之建造者模式】

Rust设计模式之建造者模式 什么是建造者模式 什么是建造者模式 即将结构体属性方法与构建解离&#xff0c;使用专门的builder进行建造&#xff0c;说白了就是new和其他的方法分开&#xff0c;集中处理更方便。 直接上代码&#xff1a; #[derive(Debug)] struct children {nam…

Servlet 3.0 新特性全解

文章目录 Servlet3.0新特性全解Servlet 3.0 新增特性Servlet3.0的注解Servlet3.0的Web模块支持servlet3.0提供的异步处理提供异步原因实现异步原理配置servlet类成为异步的servlet类具体实现异步监听器改进的ServletAPI(上传文件) Servlet3.0新特性全解 tomcat 7以上的版本都支…

PPT文件设置了修改权限,如何取消权?

不知道大家在使用PPT文件的时候&#xff0c;是否遇到过下面的提示框&#xff0c;这就是PPT文件设置了修改权限&#xff0c;只有输入密码才可以编辑文件。 如果我们没有输入密码&#xff0c;以只读方式进入&#xff0c;那么我们会发现功能栏中的按钮全是灰色&#xff0c;无法使用…

牛客sql题目总结(1)

1.第N高的薪水 AC: create function getnthhighestsalary(n int) returns int begindeclare m int; set m n - 1; return (select distinct salaryfrom employeeorder by salary desclimit m, 1); end 2.平均播放进度大于60%的视频类别 AC&#xff1a; select tb_video_info…

【NLP】使用 SpaCy、ollama 创建用于命名实体识别的合成数据集

命名实体识别 (NER) 是自然语言处理 (NLP) 中的一项重要任务&#xff0c;用于自动识别和分类文本中的实体&#xff0c;例如人物、位置、组织等。尽管它很重要&#xff0c;但手动注释大型数据集以进行 NER 既耗时又费钱。受本文 ( https://huggingface.co/blog/synthetic-data-s…

2024年10月个人工作生活总结

本文为 2024年10月工作生活总结。 研发编码 一个证书过期问题记录 某天&#xff0c;现场反馈某服务无法使用问题&#xff0c;经同事排查&#xff0c;是因为服务证书过期导致的。原来&#xff0c;证书的有效期设置为5年&#xff0c;这个月刚好到期。 虽然这个问题与自己无直接…

AIGC:人工智能生成内容的未来

文章目录 一、AIGC的定义与背景1.1 AIGC的起源与发展1.2 AIGC的核心技术 二、AIGC的核心技术解析2.1 生成对抗网络&#xff08;GANs&#xff09;2.2 变分自编码器&#xff08;VAEs&#xff09;2.3 自然语言处理&#xff08;NLP&#xff09;与文本生成 三、AIGC的应用场景四、AI…

【51单片机】串口通信原理 + 使用

学习使用的开发板&#xff1a;STC89C52RC/LE52RC 编程软件&#xff1a;Keil5 烧录软件&#xff1a;stc-isp 开发板实图&#xff1a; 文章目录 串口硬件电路UART串口相关寄存器 编码单片机通过串口发送数据电脑通过串口发送数据控制LED灯 串口 串口是一种应用十分广泛的通讯接…

线程函数和线程启动的几种不同形式

线程函数和线程启动的几种不同形式 在C中&#xff0c;线程函数和线程启动可以通过多种形式实现。以下是几种常见的形式&#xff0c;并附有相应的示例代码。 1. 使用函数指针启动线程 最基本的方式是使用函数指针来启动线程。 示例代码&#xff1a; #include <iostream&g…

C语言网络编程 -- TCP/iP协议

一、Socket简介 1.1 什么是socket socket通常也称作"套接字"&#xff0c;⽤于描述IP地址和端⼝&#xff0c;是⼀个通信链的句柄&#xff0c;应⽤ 程序通常通过"套接字"向⽹络发出请求或者应答⽹络请求。⽹络通信就是两个进程 间的通信&#xff0c;这两个进…

Qt字符编码

目前字符编码有以下几种&#xff1a; 1、UTF-8 UTF-8编码是Unicode字符集的一种编码方式(CEF)&#xff0c;其特点是使用变长字节数(即变长码元序列、变宽码元序列)来编码。一般是1到4个字节&#xff0c;当然&#xff0c;也可以更长。 2、UTF-16 UTF-16是Unicode字符编码五层次…

Linux下的ADC

ADC ADC简介 ADC是 Analog Digital Converter 的缩写&#xff0c;翻译过来为模数转换器&#xff0c;ADC可以将模拟值转换成数字值。模拟值是什么呢?比如我们日常生活中的温度&#xff0c;速度&#xff0c;湿度等等都是模拟值。所以如果我们想测量这些模拟值的值是多少&#x…

小物体检测模型

检测自然环境下的小物体&#xff08;如鸟类&#xff09;&#xff0c;尤其是在低分辨率、模糊、复杂背景和动态移动的条件下&#xff0c;是一个相对困难的任务。为了解决这个问题&#xff0c;可以考虑使用以下工具和方法来提升小物体检测的效果&#xff1a; 1. 使用专门优化的小…