Java开发避坑指南,手把手教你写Java项目文档

前言

作为一个有丰富经验的微服务系统架构师,经常有人问我,“应该选择RabbitMQ还是Kafka?”

基于某些原因, 许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择RabbitMQ还是Kafka没什么差别,但是这两种技术在底层实现方面是有许多差异的。

不同的场景需要不同的解决方案,选错一个方案能够严重的影响你对软件的设计,开发和维护的能力。

这篇文章会先介绍RabbitMQ和Apache Kafka内部实现的相关概念。紧接着会主要介绍这两种技术的主要不同点以及他们各自的优缺点,最后我们会说明一下怎样选择这两种技术。

缓存雪崩

我们首先看下这个正常的缓存流程是怎样的?如下图所示:

image.png

可以看到,首先这个用户访问这个某东,然后这个某东去访问这个 Redis,如果 Redis 有该访问数据,就会直接返回查缓存拿到的数据;如果 Redis 缓存没有查到该数据,就会去 MySql 数据库中查询,查询到有结果把从 MySql 中查到的数据同步至 Redis 缓存中去,同时会把这个查询到的结果返回回去。

这是一个简单的正常的缓存流程。 那么我们基于这个正常的缓存流程,来看下什么是缓存的雪崩。

首先给大家举个例子,就是在双十一的时候,在某东买东西,进入它的这个首页,由于是双十一,首页的访问量是非常大的,所以首页的很多数据是缓存在 redis 里面的。

假设首页数据存储在 redis 里的 100 个 key,设置的缓存失效时间是两个小时,当在双十一期间,购物超过两个小时之后,这个首页数据的 redis 缓存在这瞬间会全部失效,导致所有的请求都打到这个 MySql 数据库上,此时数据库的访问压力增大,造成这个 MySql 数据库响应不及时而挂掉,从而某东的首页就没办法继续对外提供服务了,然后东哥就特别不开心,把这次的技术负责人送去了非洲。

那么通过这个举例,我们来看下面这个图:

就是说用户访问某东,这个时候 redis 里面的 key 大量失效,导致这个某东直接访问数据库,把大量的请求都打到来数据库,这种现象就是缓存雪崩。简单来说就是 redis 缓存在同一时间大量失效,就像这个雪崩来了一样。

那么缓存雪崩它的解决方案有几种呢?下面来说下:

  • 设置这个缓存的失效时间,不让大量的 key 在同一时间失效,即在设置这个缓存的时候,可以将 key 的失效时间分散开
  • 我们部署 redis 一般是集群部署的,可以把这些热点的 key 放到不同的节点上去,让这些热点的 key 均匀的分布在不同的 redis 节点上
  • 还有就是比较暴力的方法,不设置这个缓存失效的时间,让 key 永不失效

缓存穿透

接下来我们再来介绍什么是缓存穿透。

还是举个例子:比如说某位老哥开发了一个网站,然后这个网站非常的受欢迎,某一天突然遭到了黑客疯狂的攻击,他的这个攻击手段就是采用这个缓存穿透的原理。

大家都知道通常情况下,数据库的主键是从0开始递增的,是没有负数的,那么这位黑客就利用这点,他不断的用 ID 小于零的参数发请求过来。这位老哥刚开始是把网站的所有数据放到了 redis 缓存里面去,但是黑客是用 ID 小于零的数来请求,redis 缓存里面并没有这个 ID 小于零的数据,这样 redis 就查不到这个结果,一旦 redis 查不到结果就会去数据库中查,那么所有请求都会打到数据库,而且会一直打到数据库中去,因为 redis 缓存这层根本拦截不到这样的数据。

redis 缓存直接被这种数据穿透了,直接穿透到数据库里面。同样我们来看下面这个图:

首先这

点击领取2024完整开源项目《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

个恶意用户访问某东,用 id=-1 的数据去请求,然后这个 id=-1 的数据在 redis 缓存里面没有查到,就到数据库里面查询,也没有查到该条数据,只能返回空数据给前端了。

这个恶意用户(黑客)用脚本不断的发这个数据去请求,直接穿透 redis 打到这个数据库上,这就是所谓的缓存穿透。 简单来说,缓存穿透就是指缓存和数据库中都没有这样的数据,一般出现这种情况都不是正常的用户在访问。

那么缓存穿透的解决方案有以下几点:

  • 请求如果穿透 redis,直接到数据库,那么数据库无论查出什么结果,都写回到 redis 缓存里面去,这样下次用同一个参数发来请求的时候,就直接被 redis 缓存拦截掉了,就不回打到数据库了
  • 对请求的参数做合法性校验
  • 比较直接、简单粗暴的方法,把这个 IP 拉黑
  • 最后是使用布隆过滤器,这是一个非常好的方式

缓存击穿

我们再来讲最后一个问题,就是缓存的击穿。

还是拿双十一来举例:东哥在双十一的时候,发话说想搞一个大活动,说想把自己20年前用的电脑拿出来拍卖,然后有巨多人对这个电脑感兴趣,于是东哥决定在双十一当天九点拍卖这台电脑,然后某东的开发程序员,把这台电脑数据放到了 redis 缓存里,即对应 redis 缓存里的一个 key。

拍卖的时候,大家热情都非常的高涨,持续拍卖了将近三个小时,还没有结束这场线上拍卖,但是这台电脑对应的 redis 缓存 key 的失效时间是三个半小时。 当大家拍卖到三个半小时的时候,这台电脑的缓存 key 突然失效了,导致这个大量的拍卖请求在 redis 里面查不到数据,从而这些大量请求就会直接打到数据库上,此时数据库的瞬间压力增大,造成响应不及时而挂掉。
这个时候呢,东哥看到自己的这台电脑还没拍卖出去,有点生气,于是把这个程序员送去了非洲。

同样我们也来看下面这个图:

用户访问某东,然后去 redis 请求某个拍卖秒杀商品,在缓存没有失效的时候,redis 可以把这个查询到的缓存 key 的结果返回回去,但是当这个缓存的 key 失效了,这个请求就会击穿这个 redis,直接打到数据库上。

这里大家注意的是,这里是某一个热点的 key,大量的用户请求不断的访问这个热点的 key,当这个热点的 key 突然失效,把请求都打到数据库上,这个过程就是叫做缓存击穿了。记住它是击穿某个一个非常热点的 key

那么这个缓存击穿的解决方案是:

  • 让这个热点 key 不过期,即不设置失效时间(不推荐)
  • 使用分布式锁,如果是单体应用的话使用互斥锁(分布式锁后续文章会讲)

惊喜

最后还准备了一套上面资料对应的面试题(有答案哦)和面试时的高频面试算法题(如果面试准备时间不够,那么集中把这些算法题做完即可,命中率高达85%+)

image.png

image.png

达85%+)

[外链图片转存中…(img-vsjT2VYy-1709732500622)]

[外链图片转存中…(img-XYpkJyQQ-1709732500623)]

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/724764.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android布局优化之include、merge、ViewStub的使用,7年老Android一次坑爹的面试经历

前言 开发10年,老码农,曾经是爱奇艺架构 点击领取完整开源项目《安卓学习笔记总结最新移动架构视频大厂安卓面试真题项目实战源码讲义》 师,东芝集团高级工程师,三星架构师。5年之内频繁被辞退。内心拔凉拔凉的,在这五…

Android开发新手入门教程,2024Android开发社招面试解答之性能优化

前言 本想今年辞掉工作大干一场,没想到碰到疫情,家里蹲了3个月…,还好字节能给一次机会。前阵子字节跳动的提前批开始了,看宣传是说有海量HC,机会多多,本着涨涨面经的心理,然后就投递了一下杭州…

论文阅读:Dataset Quantization

摘要 最先进的深度神经网络使用大量(百万甚至数十亿)数据进行训练。昂贵的计算和内存成本使得在有限的硬件资源上训练它们变得困难,特别是对于最近流行的大型语言模型 (LLM) 和计算机视觉模型 (CV)。因此最近流行的数据集蒸馏方法得到发展&a…

代码随想录算法训练营第11天

20. 有效的括号 方法: 1. 如果 !st.empty() return false2.如果st.top() ! s[i] return false3. 如果 st.empty() return false注意: 以下这种写法 不满足 题目要求的第二点,不能以正确的顺序闭合 if(s[i] st.top()){return true;s…

基于springboot+vue的图书管理系统

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

RabbitMQ如何保证消息不丢

如何保证Queue消息能不丢呢? RabbitMQ在接收到消息后,默认并不会立即进行持久化,而是先把消息暂存在内存中,这时候如果MQ挂了,那么消息就会丢失。所以需要通过持久化机制来保证消息可以被持久化下来。 队列和交换机的…

11. C语言标准函数库

C语言制定了一组使用方式通用的函数,称为C语言标准函数库,用于实现编程常用功能,标准函数库由编译器系统提供,并按功能分类存储在不同源代码文件中,调用标准库内函数时需要首先使用 #include 连接对应的源代码文件。 【…

Tensorflow2.0笔记 - 常见激活函数sigmoid,tanh和relu

本笔记主要记录常见的三个激活函数sigmoid,tanh和relu,关于激活函数详细的描述,可以参考这里: 详解激活函数(Sigmoid/Tanh/ReLU/Leaky ReLu等) - 知乎 import tensorflow as tf import numpy as nptf.__ve…

『python爬虫』ip代理池使用 协采云 账密模式(保姆级图文)

目录 实现效果实现思路代码示例总结 欢迎关注 『python爬虫』 专栏,持续更新中 欢迎关注 『python爬虫』 专栏,持续更新中 实现效果 在官网原版demo基础上小改了一下,修正了接口错误(把2023改成2024就可以了),原版demo只能测试单个ip,我这里批量测试所有…

为什么MySQL中多表联查效率低,连接查询实现的原理是什么?

MySQL中多表联查效率低的原因主要涉及到以下几个方面: 数据量大: 当多个表通过连接查询时,如果这些表的数据量很大,那么查询就需要处理更多的数据,这自然会降低查询效率。 连接操作复杂性: 连接查询需要对参与连接的每个表中的数…

从零学习Linux操作系统 第三十二部分 ansible中剧本的应用

一、什么是playbook及playbook的组成 1.Playbook的功能 playbook 是由一个或多个play组成的列表 Playboot 文件使用YAML来写的 play就是一个个模块用列表的方式体现出来 playbook的语法是用YAML的预防进行书写的 2.YAML 简介 是一种表达资料序列的格式,类似XM…

【从零开始学GIS再到精通GIS】专题图制作-地图渲染-地图整饰

本篇主要介绍如何在gis中进行专题图制作-地图渲染-地图整饰;示例数据下载链接该网站更新了很多有关地理的数据。 1 数据准备:点、线、面等矢量数据、栅格数据的准备等(下一更会详细介绍数据处理等方面的内容); 2 加载…

记录一则 线上域名证书更新及cdn证书更新

本篇为阿里云免费证书更新记录。 登录阿里云账号 搜索数字证书管理服务管理控制台 点击创建证书 输入你的域名 填写相关信息(注:域名验证方式选择文件验证) 等待审核通过(时间不久,一般为半小时内) …

Vue2高级篇

Vue高级 Vue生命周期 生命周期又称为生命周期回调函数、生命周期函数、生命周期钩子, 是Vue在运行过程中的关键时刻帮我们调用的一些指函数, 生命周期函数名字不可修改, 其中的this指向的是vm或组件实例对象. 常用的生命周期钩子: mounted: 发送ajax请求、启动定时器、绑定…

【Web安全】SQL各类注入与绕过

【Web安全】SQL各类注入与绕过 【Web安全靶场】sqli-labs-master 1-20 BASIC-Injection 【Web安全靶场】sqli-labs-master 21-37 Advanced-Injection 【Web安全靶场】sqli-labs-master 38-53 Stacked-Injections 【Web安全靶场】sqli-labs-master 54-65 Challenges 与62关二…

python并发编程:IO模型

一 IO模型 二 network IO 再说一下IO发生时涉及的对象和步骤。对于一个network IO \(这里我们以read举例\),它会涉及到两个系统对象,一个是调用这个IO的process \(or thread\),另一个就是系统内核\(kernel\)。当一个read操作发生时&#xff…

无代理方式实现VMware的迁移?详细解析

在当今数字化时代,数据的安全性和可用性对于企业至关重要。尤其是在VMware转变订阅策略后,原本永久订阅的产品转变为以年付费订阅的形式,导致客户不得不支付更多的费用,大幅增加了成本。同时,客户也对VMware未来发展前…

k8s-kubeapps图形化管理 21

结合harbor仓库 由于kubeapps不读取hosts解析,因此需要添加本地仓库域名解析(dns解析) 更改context为全局模式 添加repo仓库 复制ca证书 添加成功 图形化部署 更新部署应用版本 再次进行部署 上传nginx 每隔十分钟会自动进行刷新 在本地仓库…

人人都写过的6个bug

大家好&#xff0c;我是知微。 程序员写bug几乎是家常便饭&#xff0c;也是我们每个人成长过程中难以避免的一部分。 为了缓解这份“尴尬”&#xff0c;今天想和大家分享一些曾经都会遇到过的bug&#xff0c;让我们一起来看看这些“经典之作”。 1、数组越界 #include <…

Python爬虫:http和https介绍及请求

HTTP和HTTPS 学习目标&#xff1a; 记忆 http、https的概念和区别记忆 浏览器发送http请求的过程记忆 http请求头的形式记忆 http响应头的形式了解 http响应状态码 1 为什么要复习http和https 在发送请求&#xff0c;获取响应的过程中 就是发送http或https的请求&#xff0c…