多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!

先介绍下背景,我是武汉某O2O电商公司开发组长,疫情震中的我被老板要求7天之内上线《疫情防控热点图》项目,几个组员回老家断网,最终就2个人完成开发上线,满足了10w+用户的高频访问。时间和人力都紧张,不能按照常态模式开发,很多技术选型也跟平时迥异。本文为大家专题分享一下缓存在本项目中的使用和踩的几个典型的坑,希望对大家能有所帮助。

缓存Cache

缓存Cache是系统架构、性能优化的必备技能,也是新年跳槽季必考哦。核心思路就是把高频耗资源数据找个地方存储着,下次需要的时候直接使用,既能避免重复请求以降低压力,也能更快捷获取以提升性能。可能有小伙伴儿觉得疫情热点图要求实时更新,哪里用得上缓存?那你就太年轻了。本文一方面梳理下项目过程中各种缓存的原理、具体应用场景,踩过的坑和解决办法,另一方面也是希望抛砖引玉,欢迎大家多多,给予建议。

客户端缓存

按惯例,从前往后说。客户端缓存指的是让浏览器将一些数据缓存重用,避免重复请求。基本原理是利用Http协议缓存协商,在ResponseHeader里面指定下缓存策略即可,适合缓存一些静态资源。

本项目中用的非常多,各种css、js和小图标文件,都直接设置了30天缓存有效期,资源更新时,采用的是版本号缓存更新模式,直接在每个资源请求后面都带上了版本号,简单粗暴完成缓存更新。           

CND缓存&反向代理缓存

       CDN缓存和反向代理缓存的思路是差不多的,一个Http请求要经过DNS,要经过反向代理,那么在这两个环节加一层缓存也是必须的。不过由于项目开发周期短,7天就要求上线,CDN没折腾,反向代理缓存倒是立了大功。

项目的后端是3个Core WebApi服务实例构建的集群,用Nginx做的负载均衡,然后加了个缓存解决了一个高频场景,小区周边疫情热点图。用Url+小区Id作为key,直接缓存了整个动态页,有效期1小时。很多用户进来就是看下自己小区热点图然后关闭了,差不多拦截了40%的请求量,反向代理缓存效果不要太牛!

本地缓存&分布式缓存

两个都是服务端缓存,Asp.Net Core内置了MemoryCache作为本地缓存,也非常友好的支持了Redis分布式缓存,二者都是利用内存缓存数据重用以加快速度。由于后端是做的集群,为方便缓存共享,只用了Redis分布式缓存。

能缓存的数据就很多了,项目里几乎全部的数据都走了一遍缓存,即使是大家认为的实时数据,项目里面也是采用的双写方案,同步写数据库和Redis,查询直接走的Redis。此外,为减小数据写入压力,像用户登录、浏览记录、页面访问次数等即时信息也都是放在Redis里面的,满100次或者1h才同步一次数据库。

缓存的坑

       正常状况下的缓存使用还是挺简单的,最怕是遇到异常情况。这次项目不大,但是因为时间仓促,很多细节没处理好,几个缓存常见的坑都给踩了一遍。

       系统是在催促中上线的,没有经过任何缓存预热,直接公众号push了一波通知,流量短时间冲上去了,这时候Redis里面还是空的,请求直接都到数据库了,上线10分钟后就挂了。解决办法是快速写了个控制台,把数据访问了一遍,初始化到Redis里面完成缓存预热就可以了。

       

然而,填完这个坑,又引出了新的坑。缓存预热时没注意缓存有效期的设置,缓存预热时将数据的过期时间都设置成了4小时,结果在4小时之后大量缓存同时过期,请求都到数据库了,幸亏当时是晚上10点,数据库好歹没倒。火速把项目升级了一下,将过期时间做了个随机变化,避免因为同时过期而造成的缓存雪崩。

       最后是项目运行一周后,发现数据库的压力突然又上来了。通过日志排查发现是某个IP一直用一个不存在的数据Id高频访问(猜测是友商在测试),因为数据库没有这个数据,缓存总是无法命中,导致请求都穿透缓存到了数据库。解决办法也简单,缓存逻辑加了个key-null,没有数据也能缓存。

       上面整理了项目中各种缓存的基本原理和使用场景,也总结了自己踩的几个坑,希望能给大家一些帮助,也欢迎大家交流拍砖。具体的代码实现没法为大家一一展示(项目还在运营),不过我这里很用心的为大家推荐一个课程,是我最崇拜的Eleven老师讲的,文中关于缓存的方方面面都会覆盖到(本文也是应Eleven老师邀请写的),而且还是免费的哦!

  最后,体贴的Eleven老师还说了,要给大家准备一组预习资料,方便大家的学习,大家赶紧扫码加美女小助教领取免费预习资料咯。架构师之路,道阻且长,愿大家一起共同成长!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/310325.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据结构与算法--有序数组中找出和为s的两个数字

有序数组中找和为s的两个数字 题目:输入一个递增排序的数组array, 和一个数字s, 在数组中找出两个数,使得这两个数的和是s,如果有多对,输出一对即可。 最简单方案 双循环,每次获取一个数据&a…

ABP框架使用拦截器动态配置租户过滤器

前言最近项目要求在ABP框架中根据TenantId是否为空来配置是否禁用租户过滤器。ABP自身给我我们禁用租户过滤器的两种方法官方文档https://aspnetboilerplate.com/Pages/Documents/Data-Filters方法一:使用工作单元using (_unitOfWorkManager.Current.DisableFilter(…

[Java基础]LinkedHashSet集合概述和特点

练习代码如下: package LinkedHashSetPack;import java.util.LinkedHashSet;public class LinkedHashSetDemo {public static void main(String[] args){LinkedHashSet<String> linkedHashSet new LinkedHashSet<String>();linkedHashSet.add("hello")…

数据结构与算法--翻转单词顺序

翻转单词顺序 题目&#xff1a;输入一个英文句子&#xff0c;翻转句子中的单词顺序&#xff0c;但是单词内的字符顺序不变&#xff0c;例如&#xff1a;I am a software engineer -> engineer software a am I 方案一&#xff1a;空间换时间 空间换时间方法&#xff0c;还…

在.NET Core中用最原生的方式读取Nacos的配置

背景 之前老黄写过一篇《ASP.NET Core结合Nacos来完成配置管理和服务发现》简单介绍了如何让.NET Core程序接入Nacos&#xff0c;之前的SDK里面更多的是对Nacos的Open API进行了封装以及对服务注册和发现的封装。配置这一块当时并没有过多的处理&#xff0c;用起来有时感觉不会…

[Java基础]TreeSet集合概述和特点

练习代码如下: package TreeSetPack;import java.util.TreeSet;public class TreeSetDemo {public static void main(String[] args){TreeSet<Integer> ts new TreeSet<Integer>();ts.add(10);ts.add(40);ts.add(30);ts.add(50);ts.add(20);ts.add(30);for (Inte…

.NET Core下的开源分布式任务调度系统ScheduleMaster-v2.0低调发布

从1月份首次公开介绍这个项目到现在也快4个月了&#xff0c;期间做了一些修修补补整体没什么大的改动。2.0算是发布之后第一个大的版本更新&#xff0c;带来了许多新功能新特性&#xff0c;也修复了一些已知的bug&#xff0c;在此感谢在博客、Issue和QQ群中提出各种意见的朋友&…

[Java基础]自然排序Comparable的使用

代码如下: package ComparablePack;public class Student implements Comparable<Student>{private String name;private int age;public Student() {}public Student(String name, int age) {this.name name;this.age age;}public String getName() {return name;}pu…

数据结构与算法--我们来玩丢手绢(约瑟夫环问题)

我们来玩丢手绢 昨天我们打扑克&#xff0c;今天我们丢手绢丢手绢我们都知道这个游戏&#xff0c;他的由来由约瑟夫 &#xff08;Josephus&#xff09;提出来的 据说著名犹太历史学家Josephus有过以下的故事&#xff1a;在罗马人占领乔塔帕特后&#xff0c;39 个犹太人与Jose…

后端开发都应该了解点接口的压力测试(Apache Bench版)

背景 小A&#xff1a;小B&#xff0c;最近调你的接口老是超时呀&#xff0c;8秒都还没返回结果&#xff0c;是不是有性能问题呀&#xff01;小B &#xff1a;我看看~~类似这样的对话&#xff0c;在现实中是时有发生的&#xff0c;不是特别严重的话&#xff0c;往往大家也不会去…

数据结构与算法--这个需求很简单怎么实现我不管(发散思维)

发散思维 程序员是一个高危职业&#xff0c;最近动不动就听到谁谁谁猝死&#xff0c;谁谁谁过劳晕倒&#xff0c;所以面对奇葩问题&#xff0c;我们要淡定&#xff0c; 开发中被产品虐&#xff0c;说的最多的一句话就是这个需求很简单&#xff0c;怎么实现我不管 找工作被面试…

[Java基础]比较器排序Comparator的使用

代码如下: package ComparablePack;public class Student {private String name;private int age;public Student() {}public Student(String name, int age) {this.name name;this.age age;}public String getName() {return name;}public void setName(String name) {this…

手把手教你如何构建 WPF 官方开源框架源代码

本文转自林德熙的博客&#xff08;blog.lindexi.com&#xff09;导语从去年微软就将 WPF 开源了&#xff0c;差不多现在所有 WPF 的源代码都开源了。在学习框架的时候&#xff0c;我会做一些改动&#xff0c;期望能构建一个自己的版本进行测试。但是作为一个特别大的框架&#…

数据结构与算法--再来聊聊数组

再来聊聊数组 这篇我们来总结一下数组相关的一些算法&#xff0c;数组的特点在于我们能通过下标得到对应数据&#xff0c;时间复杂度在O(1)&#xff0c;之前有多篇文章有数组相关的体系&#xff0c;一下来一个归纳&#xff1a; 数据结构与算法–判断扑克牌是否顺子 数据结构…

[Java基础]泛型基础

可变参数的使用&#xff1a; 代码如下: package CanChangePack;import java.util.Arrays; import java.util.List;public class ArgsDemo01 {public static void main(String[] args){List<String> list Arrays.asList("hello","world","jav…

数据结构与算法--二叉树第k个大的节点

二叉树第k个大的节点 二叉树文章列表&#xff1a; 数据结构与算法–面试必问AVL树原理及实现 数据结构与算法–二叉树的深度问题 数据结构与算法–二叉堆&#xff08;最大堆&#xff0c;最小堆&#xff09;实现及原理 数据结构与算法–二叉查找树转顺序排列双向链表 数据…

Istio 中的 Sidecar 注入及透明流量劫持过程详解

图片来源&#xff1a;上海五角场 by Jimmy Song本文基于 Istio 1.5.1 版本&#xff0c;将为大家介绍以下内容&#xff1a;什么是 sidecar 模式和它的优势在哪里。Istio 中是如何做 sidecar 注入的&#xff1f;Sidecar proxy 是如何做透明流量劫持的&#xff1f;流量是如何路由到…

数据结构与算法--求1~n能组成的所有二叉搜索树的排列

给定一个整数n&#xff0c;生成并返回所有N个节点组成并且节点值从1到n互不相同的不同二叉树&#xff0c;可以按照任意顺序 二叉树文章列表&#xff1a; 数据结构与算法–面试必问AVL树原理及实现 数据结构与算法–二叉树的深度问题 数据结构与算法–二叉堆&#xff08;最大…