springsession分布式登录被覆盖_拉勾 分布式 学习小结

分布式和集群

分布式一定是集群,但是集群不一定是分布式(可能是复制的)

集群是多个实例一起工作,分布式将一个系统拆分之后那就是多个实例

分布式应用结构:

61e7bee30659d7ae177781fe053157fa.png

Hash算法

适用于在加密,数据存储和查找方面有hash表,效率高,最理想的时间复杂度接近O(1)

例如:

直接寻址法:存储的数据和数组下标绑定到一起 H(key)=a*key + b(a,b是常量)

除留余数法:存储的数据对空间长度求模确定存储位置

普通Hash算法存在问题:扩容缩容都需要影响全局重新计算,因此引入一致性Hash

一致性Hash算法

一致性Hash算法将整个Hash空间组织成一个虚拟的圆环,Hash函数的值空间为0 - 2^32 -1 整形,如图所示

5fa34888e728e8eb2d58119a57384396.png

一致性Hash算法对于节点的增减都只需重定位环空间中的一小部分数据,具有较好的容错性和可扩展性。

在节点少时容易出现资源倾斜,解决这种问题使用虚拟节点机制,每个节点对应多个hash,通过虚拟节点映射真实节点

3816d2c972ff7113f15ca2dfd2df19d9.png

集群时钟同步方案

如果所有服务器都能联网,可以分别同步国家时间服务器

使用命令:ntpdate -u ntp.api.bz

如果存在不能联网的的机器,定时同步局域网内能联网的其他服务器时间(如果全部不能联网就指定设置一台同步)

分布式ID生成方案

UUID 重复概率低

独立数据库自增id 性能和可靠性都低

SnowFlake 雪花算法 :二进制 由41位时间戳 + 10位机器码 + 12位序列号组成

Redis incr

分布式调度

1.运行在分布式集群环境下的调度任务(同一个定时任务程序部署多份,只应该有一个定时任务在执行)

2.分布式调度—>定时任务的分布式—>定时任务的拆分(即为把一个大的作业任务拆分为多个小的作业任务,同时执行)

定时任务与消息队列的区别

共同点

  1. 异步处理

2. 应用解耦

3. 流量削峰

不同点

  1. 定时任务作业是时间驱动,而MQ是事件驱动

2. 定时任务作业更倾向于批处理,MQ倾向于逐条处理

分布式调度框架Elastic-Job

分布式调度协调 基于 Zookeeper 实现

在分布式环境中,任务能够按指定的调度策略执行,并且能够避免同一任务多实例重复执行

丰富的调度策略 基于成熟的定时任务作业框架Quartz cron表达式执行定时任务

弹性扩容缩容 当集群中增加某一个实例,它应当也能够被选举并执行任务;当集群减少一个实例 时,它所执行的任务能被转移到别的实例来执行。

失效转移 某实例在任务执行失败后,会被转移到其他实例执行

错过执行作业重触发 若因某种原因导致作业错过执行,自动记录错过执行的作业,并在上次作业 完成后自动触发。

支持并行调度 支持任务分片,任务分片是指将一个任务分为多个小任务项在多个实例同时执行。 作业分片一致性 当任务被分片后,保证同一分片在分布式环境中仅一个执行实例。

Leader节点选举机制

每个Elastic-Job的任务执行实例App作为Zookeeper的客户端来操作ZooKeeper的znode

1.多个实例同时创建leader节点

2.leader节点只能创建一个,后创建的会失败,创建成功的实例会被选为leader节点, 执行任务

任务分片:

处理数据量过大时,ElasticJob可以把作业分为多个的task(每一个task就是一个任务分片),每一个task交给具体的一个机器实例去处理(一个机器实例是可以处理多个task的),但是具体每个task 执行什么逻辑由我们自己来指定。

当扩容或者缩容时,Zookeeper或通知Elastic-Job 重新分片

Session共享(一致性)

解决方案:

  1. Nginx的 IP_Hash 策略 :同一个客户端IP的请求都会被路由到同一个目标服务器

缺陷:服务器重启Session丢失,存在单点负载高的⻛险,单点故障问题

2. Session复制:Tomcat修改配置文件,达到Session之间的复制

缺陷:性能低,延迟

3. Session共享,使用缓存中间件

Spring Session 使用仅需要引入依赖,配置redis,开启注解

d549813bfcbe24a85bcba7e79bdc6933.png

原理如下图:

f048a319a74505f2bc04f3d15dc5f354.png

作业:

基于SpringBoot实现一个登陆功能,含有拦截验证,使用Spring session保持session一致性,打成war包,将war包部署到tomcat集群中,要求1个Nginx节点、2个Tomcat节点,使用Nginx轮询访问两个tomcat

主要代码及配置:

登录Controller

3bba90735f7255584024ff1fb58d39ff.png

拦截器:此处简易实现

d990f6f2ac94b495b51239bc18ad82cb.png

配置拦截登录之外的请求

1e54a17af1ff29412f5d51debcff74ac.png

Nginx配置

4405b5c0be86b6f0c0421940bc871df6.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/558104.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

c++ 舞伴配对问题_R绘图:配对样本差异表达作图ggpubr

R绘图往期回顾:R绘图:唱一半的歌,画一半的图 gghalvesR绘图:gggibbous,基于ggplot2的Moon chartsR绘图:ggeconodist,基于ggplot2的另类箱图R语言学习系列之“多变的热图”蚂蚁金服在线可视化引擎…

输入引脚时钟约束_最强干货分享 | 时钟树例外(exclude pin、stop pin、non_stop pin、float pin)...

《最强干货分享时钟树例外(exclude pin、stop pin、non_stop pin、float pin)》研究生毕业之前曾发过这篇推文,现在在原来的基础上进行了修正,又添加了一些内容,几乎是压箱底的,现在拿出来分享一下,如果觉得好的话麻烦…

mac mysql not found_mac下mysql提示command not found解决

原标题:mac下mysql提示command not found解决问题描述输入mysql -u root -p会出现:zsh: command not found: mysql的提示,此时需要配置环境变量。解决方法一1 .打开终端,输入: cd ~2.输入:sudo vim .bash_profile回车执…

mysql数据库删除列数据_MySQL数据库-数据表、以及列的增删改查

1、创建一个表CREATE(创建)TABLE(表)ENGINE(引擎)ENGINEINNODB(引擎)还有很多类引擎,这里只是简单的提一下INNODB引擎,INNODB引擎支持事务(回滚),也就是一个事务执行时如果没有完成数据可以回滚CHARSET(字符编码)CREATE TABLE(创建表)--创建表…

mysql 分区 性能更差_用案例分析MySQL 5.7分区表性能下降的根本原因

前言:希望通过本文,使MySQL5.7.18的使用者知晓分区表使用中存在的陷阱,避免在该版本上继续踩坑。同时通过对源码的分享,升级MySQL5.7.18时分区表性能下降的根本原因,向MySQL源码爱好者展示分区表实现中锁的运用。问题描…

java 数组 截取_Java成长孵化园---认识java(day09)

1、APIApplication Programming Interface应用编程接口一切可以调用的东西,都是API2、基础APIObject、String、StringBuilder/StringBuffer、正则表达式、基本类型的包装类、BigDecimal/BigInteger、Date、SimpleDateFormat3、java.lang.Objectlang包:la…

mysql id还原_一次线上DB问题排查(MySQL、事务、MVCC)

背景在司机数据库中,有一张用于存储司机车型的表,暂且称之为表t。该表结构如下所示:MySQL [comp_epower]> show create table t \G; *************************** 1. row *************************** Table: Create Table: CREATE TABLE …

mysql 可以用多个索引_mysql索引合并:一条sql可以使用多个索引

前言mysql的索引合并并不是什么新特性。早在mysql5.0版本就已经实现。之所以还写这篇博文,是因为好多人还一直保留着一条sql语句只能使用一个索引的错误观念。本文会通过一些示例来说明如何使用索引合并。什么是索引合并下面我们看下mysql文档中对索引合并的说明&am…

mysql三种引擎_MySQL常见的三种存储引擎

原文连接:https://www.cnblogs.com/yuxiuyan/p/6511837.htmlhtml简单来讲,存储引擎就是指表的类型以及表在计算机上的存储方式。数据库存储引擎的概念是MySQL的特色,Oracle中没有专门的存储引擎的概念,Oracle有OLTP和OLAP模式的区…

django win下安装mysql_python测试开发django-8.windows系统安装mysql8教程

前言MySQL 是最流行的关系型数据库管理系统,可以在本地搭建一个mysql的环境,便于学习。windows7/windows10mysql-8.0.11-winx64下载安装包也可以在此页面【https://dev.mysql.com/downloads/file/?id476233】,进入页面后可以不登录。后点击底…

php mysql ajax 注册验证 实例_Ajax小实例   用户注册异步验证

简介51cto的程序员应该都有sina微博吧!你会发现当你更改新浪会员名称,输入用户名Tab后,光标焦点移动到密码输出框时,用户名输出框的后面,就已经显示出了验证。验证信息是:你的用户名是否唯一,因…

同一事务中未提交的写能读到吗_03、MySQL事务的隔离性分析

事务可以用来保证数据库的完整性:要么都做,要么不做。在 MySQL 中,事务支持是在引擎层实现的。你现在知道,MySQL 是一个支持多引擎的系统,但并不是所有的引擎都支持事务。比如 MySQL 原生的 MyISAM 引擎就不支持事务&a…

python软件管理系统_conda:基于python的软件管理系统

python语言在发展的过程中,经历了python2到python3的迁移,对应的包也出现了多个版本。如何在一台服务器上同时安装不同版本的python,不同版本的package, 而且不互相干扰,是一个令人头痛的问题。为了解决这个问题,首先是virtualenv…

vscode远程Mysql数据库_windows系统vscode远程调试mysql

准备工作本文目标是可以从 WindowsVSCode 环境远程访问 Linux 的 mysql源码, 以及执行 GDB 远程调试首先准备以下软件在本地机器上:安装VS Code目前最新版本支持 Remote - Development 插件安装 VSCode 扩展 “Remote - Development”, 方法是左下角管理(⚙) ->扩展, 直接搜…

java io 文件路径_【IO流】java中文件路径(相对路径、绝对路径)相关类及方法...

1. URL菜鸟教程:Java URL处理 通常推荐对http等协议进行使用,若操作(file:)部分属性将无意义,建议getFile()。相关:URLConnections 类 可以打开连接进行IO 通过getResource方法可以获得相对于classPath的文件的URL2. FileTestvoid…

java 过滤脚本_【快学SpringBoot】过滤XSS脚本攻击(包括json格式)

XSS攻击是什么XSS攻击全称跨站脚本攻击,是为不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆,故将跨站脚本攻击缩写为XSS,XSS是一种在web应用中的计算机安全漏洞,它允许恶意web用户将代码植入到提供给其它用户使用的页面中…

java高级教程_Java高级教程02

1.Java线程1.1. 多线程和多进程多进程:操作系统能够同时进行多个任务: 每个app(word,播放器,浏览器)可以同时运行多线程:同一应用程序中哟多个顺序流同时执行线程是进程中的一部分1.2. 线程的执行过程:主要过程:多线程…

【LeetCode刷题笔记】动态规划(二)

647. 回文子串 解题思路: 1. 暴力穷举 , i 遍历 [0, N) , j 遍历 [i+1, N] ,判断每一个子串 s[i, j) 是否是回文串,判断是否是回文串可以采用 对撞指针 的方法。如果是回文串就计数 +1

数据结构 排序 java_Java数据结构之排序---选择排序

简单选择排序的介绍:从给定的序列中,按照指定的规则选出某一个元素,再根据规定交换位置后达到有序的目的。简单选择排序的基本思想:假定我们的数组为int [] arr new int[n],第一次我们从arr[0]~arr[n-1]中选择出最小的…

python百度aip移动目标监控系统_python利用百度云接口实现车牌识别

一个小需求---实现车牌识别。目前有两个想法调云在线的接口或者使用SDK做开发(配置环境和编译第三方库很麻烦,当然使用python可以避免这些问题)自己实现车牌识别算法(复杂)!一开始准备使用百度云文字识别C SDK来做,发现需要准备curl、jsoncpp…