网络通道数2的倍数_限流笔记-通道限流(二)

在工作中的时候,由于我负责的一个系统需要调用很多的第3方的系统,可是呢,这些个第3方的系统的性能完全不一致,有的好有的坏,还成本都不一样,当然了平时把,直接使用成本低的就行了,但是如果高并发的请求来的时候,系统就有问题了,一开始我们的方案时,系统部NOC实时监控,如果发现量起来了,我们就手动的切换通道,大多数问题还是能够解决,但是有时候的业务峰值一来,我们不知道,就抓瞎了,系统就会一台一台的挂,然后呢,我们又一台一台的重启。影响了业务运作,还影响了我们休息,每天都处于紧张之中。

后来吧,我就想着整一个分流分发的模块来试试,设计思想:对针对银行的特定业务通道做一个优先级排序,这个优先级排序通过一个系统,独立实时计算,分流分发模块调用该优先级,设置开关阀值,高流量时的管理分流业务。

283d03d396cb

流程

可以将模块划分为:

283d03d396cb

模块

通道选择:负责选择出符合逻辑的通道;

分流:负责最后通道选择,里面包含从统计获取的优先级,所有通道当前正在处理的线程数,通道处理时间,分流阀值及逻辑;

消息:负责将执行完的信息传送到统计模块及短信或邮件通知。

前端业务已经输入了4项信息,我需要获取到当前银行比如CCB能够支持的4项的信息的所有通道:通道1,通道2,通道3,我把这个几个通道传给统计模块,统计模块根据该卡最近成功,较远成功,没有使用,较远失败,较近失败,改银行该通道成功率,平均反应时间,统计出优先级:通道2,通道1,通道3,分流模块首先选中通道2,查询通道2当前正在执行线程数,通道2最近阀值个线程平均执行时间,根据阀值判断通道可否使用,可以就走,不可以改变通道2去选中通道1,依然上面逻辑,直到有通道可用,如果通道3都不不可用了,说明通道已经饱满,不能再接受新的请求了,当前这个银行CCB这4项信息的验证在本系统无法通过,要么等待,要么直接拒绝。如果有可以通道的通道,执行了流程,需将执行结果异步传入统计模块。

1.通道选择,我使用redis一级缓存,chcache做本地缓存(这个是简单的方式,如果选择的规则比较复杂,我比较建议用规则树,加载到本地文件或者缓存和内存)。

2.消息传送使用RabbitMQ

3.通道限流有2种办法可以选择:对于性能实在是堪忧的,直接使用Semaphore,性能可以的,使用RateLimiter,也可以全部都使用Semaphore或者线程池,这个池子的大小可以是时间*TPS(通常是进行压测的值,如果通道不让压测,那么也就只能按照经验来预测一个值了)*一个倍数。

对于还多的线程,使用随机数,将线程平均的分配给每一个通道等待队列,不过这样会造成一个问题,如果关闭这个通道,那么这个通道对应的等待队列里面的线程依然是可以执行的,但是新的请求就不会选中这个通道了。

4.请求前面针对本身系统也要有限流,这个我在前面的文章有写到。

5.

具体代码稍后上传。。。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/436819.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【转】[技术回顾系列]--WebService事务处理

如果在WEB服务中有这样一个场景,某个WEB服务的方法要执行两个任务,它首先要在数据库中创建一个新表,接着调用对象来收集和格式化数据,并在新表中插入数据。象这样的一组方法,我们必须保证他们都成功执行,否…

mysql题目_MySQL练习题

创建下列表并创建相关约束问题1:查询出成绩表,而且student_id 后面要有对应的学生名,course_id 后面要有对应的课程名.1 SELECT2 score.sid,3 score.student_id,4 student.sname,5 score.course_id,6 course.cname,7 score.number8 FROM scor…

【转】BASE64编码规则

Base64编码要求把3个8位字节(3*824)转化为4个6位的字节(4*624),之后在6位的前面补两个0,形成8位一个字节的形式。(将字符串转换为二进制,从前往后,每6位一取,…

查看mysql数据库的死锁日志_【MySQL】mysql死锁以及死锁日志分析

1.死锁的概念死锁:死锁一般是事务相互等待对方资源,最后形成环路造成的。对于死锁,数据库处理方法:牺牲一个连接,保证另外一个连接成功执行。发生死锁会返回ERROR:1213 错误提示,大部分的死锁In…

【转】二进制文件和ASCII文件有何区别

二进制文件和ASCII文件(即文本文件)的区别,对于和计算机亲近时间尚短的同学是个难题。本文用简单的例子,试图展示其中的道道,希望能对菜鸟们有些帮助。 1、一个例子:两种100000 有程序: #includ…

mysql优化和索引_mysql优化和索引

表的优化1.定长与变长分离如 int,char(4),time核心且常用字段,建成定长,放在一张表;而varchar,text,blob这种变长字段适合单放一张表,用主键与核心表关联。2.常用字段和不常用字段要分离3.在 1 对多需要关联统计的字段上&#xff…

【转】为什么不能使用字符流读取非文本的二进制文件?

读取文件 刚学Java的IO流部分时,书上说只能使用字节流去读取图片、视频等非文本二进制文件,不能使用字符流,否则文件会损坏。所以我就一直记住这一点了,但是为什么不能使用,这一直是我的一个疑惑。今天,我…

mysql更新一条语句_MySQL一条更新语句是如何执行的

一条查询语句是经过连接器 分析器 优化器 执行器等功能模块,最后到达存储引擎。image以下所说的都基于InnoDb引擎。当有一条记录需要更新的时候,InnoDB引擎会先把记录写到redo log里面,并更新内存,这个时候更新就算完成了。InnoDb…

【转】文本文件和二进制文件区别及java中字节流和字符流归纳

首先在物理上文本文件和二进制文件并没有区别,都是以二进制01的形式存放于存储介质中,他们的区别只是逻辑上的区别,这两种方式只是在编码层次上有差别。文本文件是基于字符编码的文件,常见的编码有ASCII编码…

mysql查询后从高到低排序_[MySQL基础]三、排序查询

排序查询语法:SELECT查询列表FROM表[WHERE 筛选条件]ORDER BY 排序列表 [ASC|DESC]; #[ ]中的内容表示可选特点:asc代表的是升序,desc代表的是降序,如果不写,默认是升序order by子句中可以支持单个字段、多个字段、表达…

【转】如何判断一个文本文件内容的编码格式 UTF-8 ? ANSI(GBK)

转自:http://blog.csdn.net/jiangqin115/article/details/42684017 UTF-8编码的文本文档,有的带有BOM (Byte Order Mark, 字节序标志),即0xEF, 0xBB, 0xBF,有的没有。Windows下的txt文本编辑器在保存UTF-8格式的文本文档时会自动…

cesium获取模型实时坐标_Cesium 顶点着色器中求解模型坐标

1. 由世界坐标转模型坐标顶点着色器:attribute vec3 position3DHigh;attribute vec3 position3DLow;attribute vec3 normal;attribute vec2 st;attribute float batchId;varying vec3 v_positionEC;varying vec3 v_normalEC;varying vec2 v_st;void main(){vec3 pos…

【转】关于CLR内存管理一些深层次的讨论[上篇]

半年之前,PM让我在部门内部进行一次关于“内存泄露”的专题分享,我为此准备了一份PPT。今天无意中将其翻出来,觉得里面提到的关于CLR下关于内存管理部分的内存还有点意思。为此,今天按照PPT的内容写了一篇文章。本篇文章不会再讨论…

mysql数据库连接地址utf8_在Python中连接到MySQL数据库时UTF8不工作

我正在努力使Python更好地使用UTF-8编码的MySQL数据库,例如,挪威字符。我找了好几个小时,但没能找到像预期的那样有效的东西。以下是从数据库中提取的示例表:mysql> select * from my_table;---------------------| id | shop_…

【转】.NET Remoting

.Net Remoting提供了一种允许一个应用域中的对象与另一个应用域中的对象进行交互的框架。是.NET框架中的一个重要技术改进,它用于减轻运行应用程序的系统开销. 中文名 .Net Remoting 作 用 减轻运行应用程序的系统开销 目录 1 介绍2 .NET Remoting的原理 ▪ 1.NET Rem…

python多重赋值技巧_python教程12课:多元赋值、多重赋值、运算符以及判断字符串类型...

# 多元赋值:# x,y,z 和 1,2,‘String是两个元组,只不过元组的 () 被省略掉了x, y ,z 1, 2, Stringprint(x, y, z)(x, y ,z) (3, 4, String)print(x,y,z)# 一般用在交换变量值#交换变量值常规思路x 10,y 20z 30x ,y, z y,z,xprint(x,y,z)#使用多元赋值…

【转】关于CLR内存管理一些深层次的讨论[下篇]

《上篇》中我们主要讨论的是程序集(Assembly)和应用程序域(AppDomain)的话题,着重介绍了两个不同的程序集加载方式——独占方式和共享方式(中立域方式);以及基于进程范围内的字符串驻…

python正则表达式处理txt_Python文本处理服务(re正则表达式例子)

正则表达式例子检查对子在此示例中,我们将使用以下帮助函数来更优雅地显示匹配对象:def displaymatch(match): if match is None: return None return % (match.group(), match.groups())假设你在写一个扑克程序,一个玩家的一手…

【转】深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第一节 理解堆与栈

理解堆与栈 导航 深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第一节 理解堆与栈 深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第二节 栈基本工作原理 深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第三节 栈与堆,值类型与引用类型 深入浅出图…

bi 存储过程方案_BI 系统中容易被忽视的数据源功能

BI 系统中容易被忽视的数据源功能用户在选购 BI 解决方案的时候,常常会更关注界面环节的功能指标,比如美观性、操作的流畅性、移动端支持等等。毕竟,BI 是要给业务人员使用的,这些看得见的内容一般不容易被遗漏。然而,…