本地缓存少更改、小数据、低一致表的思考

对于那些少更改、小数据的表,以及对一致性要求不高的业务,其实完全可以通过本地缓存将表数据缓存到本地内存中,然后通过定时机制拉取表更新数据

直接从内存中获取数据,将会使得查询性能得到巨大的提升,并且由于更改少,数据量小,同时内存压力也不会很大,除了一致性不高外,完全是利大于弊的策略

那么如果我想设计这样的本地缓存,该如何进行呢?

基本功能满足

既然是同步数据库表,在项目启动时其实就可以拉取数据。用户仅需要提供拉取表,然后缓存组件就可以自动拉取数据

同时还衍生后台线程定期更新数据

内存节约

考虑实际中需要的数据仅是少部分字段,那么也可用户指定需要的字段,仅查询需要的



那么是否需要压缩呢?

从速度角度来说,我以为是不需要的,既然是为了快,压缩就有些背离其初衷了



如果对于业务X需要a、b、c字段,对于业务Y需要a、b、d字段,其中X、Y需要的条件相同,那么是分别拉取X、Y需要的数据吗?

不在乎内存情况下是可以的。最好是取并集,更简单的方式是如果同条件表数据超过1,就查询所有数据



假如利用mysql的主从同步机制,在本地建立从库,这是好主意吗?

该方法虽然能利用mysql的主从同步机制,但是会带来更大的复杂性,尤其是服务部署在容器时



对于数据更新频率极少的情况下,是否还有其他方法呢?

如果数据更新频率非常少,那么甚至可以用配置文件、硬编码的方式直接将数据记录到项目里,尤其配置文件支持热部署时。

问题在于数据较多较复杂,那么配置文件会更为麻烦

定期更新

按照用户指定的更新间隔去更新,那么一旦需要同步表较多情况下,岂不是更新的过于频繁呢?

在设定频率不是特别高,且数据量小的情况下,这并不会有多大的影响。

当然也可以通过增量更新方式尽可能减少影响。

标记变化的数据,然后仅拉取

或者使用数据库的事件通知机制,如 MySQL 的 binlog 或其他类似的触发机制。一旦表发生更改,直接推送更新



是否可提供主动触发接口呢?

主动触发在低频更新数据的情况下是很棒的想法,既大大减少了定期更新带来的消耗,还能够根据触发接口进行精确的增量更新

比如对于教材版本来说,更新频率极低极低,甚至完全可以舍弃掉定期更新机制,而是通过主动触发更新接口进行本地缓存的更新



假如在最初时数据表较为简单,更新频率小,可如果慢慢数据库越来越大,更新频率甚至越来越高该如何办呢?

  1. 设定阈值监控:比如超过阈值后,进行告警
  2. 回退到db查询:若不在本地缓存中,那么就再查询数据库
  3. 采用bloom filter、缓存id等过滤掉根本不存在的数据
  4. 引入淘汰机制:将不常使用的数据进行淘汰,或者根本不会再用的数据淘汰掉
  5. 分级缓存:本地缓存常用数据,远程缓存一般数据,数据库储存所有数据

并发

如果存在多个线程同时请求本地缓存数据,那么是否需要加锁?

在低一致性情况下,加锁并非必要的。因为唯一的写仅仅只是将引用指向新数据,那么这样即使出现并发冲突,也仅仅只是访问到旧数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/57133.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Kibana可视化Dashboard如何基于字段是否包含某关键词进行过滤

kinana是一个功能强大、可对Elasticsearch数据进行可视化的开源工具。 我们在dashboard创建可视化时,有时需要将某个index里数据的某个字段根据是否包含某些特定关键词进行过滤,这个时候就可以用到lens里的filter功能很方便地进行操作。 如上图所示&…

架构师备考-背诵精华(系统架构评估)

系统架构评估是在对架构分析、评估的基础上,对架构策略的选取进行决策。它利用数学或逻辑分析技术,针对系统的一致性、正确性、质量属性、规划结果等不同方面,提供描述性、预测性和指令性的分析结果。 重要概念 敏感点:敏感点是…

大数据面试题整理——MapReduce

系列文章目录 第一章 HDFS面试题 第二章 MapReduce面试题 文章目录 系列文章目录一、请简要解释一下 MapReduce 的工作原理。二、什么是 map 函数和 reduce 函数?它们的作用分别是什么?三、如何处理数据倾斜问题在 MapReduce 中?四、在 MapR…

docker 下载netcore 镜像

dotnet-docker/README.runtime.md at main dotnet/dotnet-docker GitHub docker pull mcr.microsoft.com/dotnet/runtime:8.0 docker pull mcr.microsoft.com/dotnet/runtime:3.1

二分查找算法 (算法详解+模板+例题)

文章目录 二分查找算法简介1.朴素的二分查找2. 在排序数组中查找元素的第一个和最后一个位置3. 搜索插入位置4. 山脉数组的峰顶索引5.寻找峰值6. 寻找旋转排序数组中的最小值 二分查找算法简介 二分查找算法并不是针对在数组有序的情况下,通过后面的题我们就会知道实际上只要是…

【存储设备专栏 2.2 -- linux 下 fdisk -l 命令详细介绍2 】

文章目录 实例详解 fdisk -l第一部分:磁盘 /dev/sda详细解释: 第二部分:环回设备 /dev/loop8详细解释: 总结 实例详解 fdisk -l 在 Linux 系统中执行 fdisk -l 命令会输出详细的磁盘和分区信息。下面我们具体解释一下下面的log每…

【贝加莱PLC基础教学】2.1 搜索并连接到对应的PLC(1)

【贝加莱PLC基础教学】目录大全_贝加莱plc p23 1361-CSDN博客 PLC其实和单片机差别不大,无非就是大一点的单片机。另外多加了一点点计算机网络和通讯知识,然而就是这一点点计算机网络知识让大家望而却步。 0.基础知识 在计算机网络中,我们通…

【MySQL】索引的机制、使用

在学习索引知识之前,我们可以先了解一下什么是索引。实际上,索引就是数据库中一个或多个列存储的结构,能够支持数据库管理系统在不扫描整张表的情况下也能查询到数据行,能够大大提升查询效率。举个例子,我们想要找到一…

信号与噪声分析——第一节-确定信号的分析

目录 1.确定信号的分析 1.1确定信号的分类: 1.周期信号与非周期信号: 周期信号的定义: 性质: 2.能量信号与功率信号: 定义 区别: 3.基带信号与频带信号: 基带信号的定义: …

【RabbitMQ】RabbitMQ 的七种工作模式介绍

目录 1. Simple(简单模式) 2. Work Queue(工作队列) 3. Publish/Subscribe(发布/订阅) 4. Routing(路由模式) 5. Topics(通配符模式) 6. RPC(RPC通信) 7. Publisher Confirms(发布确认) 上一篇文章中我们简单认识了RabbitM1: 【RabbitMQ】RabbitMQ 的概念以及使用Rabb…

IO编程——消息队列

题目&#xff1a; 代码实现&#xff1a; #include <myhead.h> //正文大小 #define MSGSZ (sizeof(struct msgbuf)-sizeof(long)) //定义要发送的消息类型 struct msgbuf{long msgtype; //消息类型char mtext[1024]; //消息正文 };int main(int argc, const char *ar…

linux下建立软链接

深度学习训练中经常会遇到数据量庞大或者工程中模型报错太多导致磁盘空间不够&#xff0c;但是又不想修改原来在代码中写的路径&#xff0c;这个时候制作软连接很有作用&#xff0c;把占用量大的目录移到别的空闲磁盘&#xff0c;然后在原来的目录做一个软连接指向那个移到的空…

k8s ETCD数据备份与恢复

在 Kubernetes 集群中&#xff0c;etcd 是一个分布式键值存储&#xff0c;它保存着整个集群的状态&#xff0c;包括节点、Pod、ConfigMap、Secrets 等关键信息。因此&#xff0c;定期对 etcd 进行备份是非常重要的&#xff0c;特别是在集群发生故障或需要恢复数据的情况下。本文…

Java--集合(三)之vectorlinkedlisthashset结构

文章目录 0.架构图1.vector解析2.LinkedList分析2.1源码分析2.2迭代器遍历的三种方式 3.set接口的使用方法3.1基本使用说明3.2基本遍历方式3.3HashSet引入3.4数组链表模拟3.5hashset扩容机制3.6hashset源码解读3.7扩容*转成红黑树机制**我的理解 0.架构图 1.vector解析 和之前介…

【Vue】Vue3.0(十四)接口,泛型和自定义类型的概念及使用

上篇文章&#xff1a; 【Vue】Vue3.0&#xff08;十三&#xff09;中标签属性ref&#xff08;加在普通标签上、加在组件标签上&#xff09;、局部样式 &#x1f3e1;作者主页&#xff1a;点击&#xff01; &#x1f916;Vue专栏&#xff1a;点击&#xff01; ⏰️创作时间&…

Windows进程的睡眠与唤醒

在总体架构庞大、包含很多进程协同工作的系统中。有时把系统内某些后台进程睡眠&#xff0c;待需要时再唤醒&#xff0c;可以节约操作系统资源&#xff0c;提升系统运行效率。 进程睡眠&#xff1a; bool Widget::suspendProcess(DWORD targetProcessId) {// 获取进程句柄HAN…

数据结构——二叉树的基本操作及进阶操作

前言 介绍 &#x1f343;数据结构专区&#xff1a;数据结构 参考 该部分知识参考于《数据结构&#xff08;C语言版 第2版&#xff09;》116 ~ 122页 及 《数据结构教程》201 ~ 213页 重点 树的基本实现并不难&#xff0c;重点在于对递归的理解才是树这部分知识带来的最大收…

python绝对值怎么表示

python abs()函数用于获取数字的绝对值&#xff0c;参数可以是负数、正数、浮点数或者长整形。 语法&#xff1a; abs( x ) 下面是详细参数&#xff1a; X&#xff1a;这是一个数值表达式。 返回值&#xff1a; x的绝对值。 例如&#xff1a; #!/usr/bin/python print &q…

smbms(2)

目录 一、修改密码功能实现 二、优化密码修改&#xff0c;加入旧密码确认环节【使用Ajax】 三、用户管理实现 获取用户数量 获取用户列表 获取角色列表 Servlet 一、修改密码功能实现 1、导入前端素材 2、UserDao接口 3、UserDaoImpl实现类 4、UserService接口 5、Us…