分布式高性能消息处理中心HPMessageCenter

HPMessageCenter

高性能消息分发中心。用户只需写好restful接口,在portal里面配置消息的处理地址,消息消费者就会自动访问相关接口,完成消息任务。(其实HPMessageCenter有两个版本,这次开源的是第二个版本。在第一个版本,消息消费失败的重试依赖数据库进行,造成了很大的性能影响。我一直在思考怎样不依赖数据库来进行消息重试,看过一些实现是通过在内存中计数,这种方式存在很大的风险,系统宕机过后这个失败的消息就只能手动处理。我一直在想,如果每次RabbitMQ重入队的消息能在消息属性中加一个消息发送次数的计数就好了。最后,我利用延时队列和死信队列,通过在MessageHeader中设置RetryNumbers来重新设计了消息消费失败的重试机制。
Git地址https://gitee.com/dugukuangshao/HPMessageCenter

部署说明

 **创建数据库执行Scripts文件夹中的数据库脚本** **配置数据库连接字符串** 打开MessageCenter.Portal\Configuration\Data\Database.config

640?wx_fmt=png&wxfrom=5&wx_lazy=1

在图片中画红线的地方修改链接字符串**配置RabbitMQ连接属性** 打开MessageCenter.Portal\appsettings.json

640?wx_fmt=png&wxfrom=5&wx_lazy=1

在图片中画红线的地方修改RabbitMQ地址和用户名密码部署MessageCenter.Portal到IIS或者Docker中,即可访问

使用说明

 **在首页中配置App和Exchange** 

640?wx_fmt=png

 **在Topic管理页面中配置Topic信息** 

640?wx_fmt=png

ProcessorConfig为消息消费者处理消息的Restful接口**最后在消费者管理页面中添加Sever要运行的Consumer** 

640?wx_fmt=png

此时,通过Publisher/Publish接口发送消息到RabbitMQ,系统中的消费者会自动访问配置的对应消息处理接口处理消息。
### 为什么要开发这样一个消息系统使用此消息系统处理消息,开发者只需调用接口发送消息、写消息处理的接口,不必关心MQ的实现和使用,使开发者更关注业务,提高开发效率。

扩展性

MessageTransit模块是一个高度抽象的模块,开发者可以继承它的接口实现其他MQ(ActiveMQ和RocketMQ等)的对接。该模块还设计了IMonitor和ILogger接口,开发者可以继承IMonitor接口,自定义实现消息处理失败的短信、邮件通知等功能,继承ILogger接口,可以实现MQ断线的通知等,当然默认的RabbitMQ实现支持断线重连。

性能

一个Sever里每个Topic对应一个消费者。一个消费者一次处理一个消息,如果发生消息处理不及时的情况,可以部署多个Sever,并在消费者管理页面添加对应的消息消费者。如果消息数量进一步提高,就需要同步增加消息Restful处理接口的处理能力。比如,一个消息处理接口可以处理每分钟300个并发,一个Sever每分钟只能处理60个消息,此时可以部署5个Sever。消息进一步增加,消息处理接口性能达到瓶颈,增加消息处理接口的处理能力,再增加Sever数即可提高性能。

原文地址:http://www.cnblogs.com/DKSL/p/8489544.html


.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/321484.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

8、play框架中持久层操作

1、使用jdbc连接数据库 1、1 简介 JDBC是一个阻塞操作,它将导致线程等待,直接使用JDBC进行查询将导致性能降低 1、2 配置数据源 play提供了一个用于管理JDBC连接池的插件,可以根据需要配置任意多个数据库,想要使用此插件&…

DBCHM-最简单、实用的数据库表列批注维护工具

DBCHM支持SqlServer/MySql/Oracle/PostgreSQL/Sqlite等数据库的表列批注维护管理。DBCHM有以下几个功能表,列的批注可以编辑保存到数据库。表,列的批注支持通过pdm文件导入的方式进行更新到数据库。基于数据库中的表列结构(列ID/列名/数据类型/长度/精度…

浅谈Log4net在项目中如何记录日志

一 引入背景在软件开发周期中,无论是开发中,或是测试中,或是上线后,选择合适的工具监控程序的运行状态至关重要,只有如此,才能更好地排查程序问题和检测程序性能问题等。本篇文章主要与大家分享&#xf…

9、play中缓存的使用

1、简介 对于存储在缓存中的任何数据,都需要放置一个再生策略,以防数据丢失。这一理念是play基本原则之一。对于进程内缓存,Caffeine 通常是最佳选择。如果需要分布式缓存,play提供了Memcached和Redis的第三方插件。 2、添加缓存…

10、使用ws调用Rest api

目录 1、简介 2、添加WS配置 3、发送请求 4、处理请求 5、常用模式和用例 6、自定义BodyReadables和BodyWritables 6、独立WS 7、访问AsyncHttpClient 8、配置WS 1、简介 有时我们想从一个play应用程序中调用其他HTTP服务。Play提供了WS库来进行异步HTTP方法调用。 …

拥抱开源,Office 365 开发迎来新时代

前言作为全球最大的开放源代码托管平台,Github在上周迎来了它的十岁生日。自从2008年正式上线以来,Github上面汇聚了数以千万计的开发人员和各种项目,它几乎成为了开源的代名词和风向标,各大软件巨头都纷纷支持,在广大…

11、OAuth和OpenID服务

1、OAuth 1、1 简介 OAuth是发布受保护数据并与之交互的简单方法。对于人们来说,这也是一种更安全的访问方式。例如,它可以用来访问你的用户在Twitter上的数据。Play仅提供对OAuth 1.0的支持。 1、2 基本工作原理 在build.sbt中添加配置:…

求凸函数极值 CSF迭代法(雾)

简介 本算法用来求解凸函数极值点的问题,由我在写ACM习题时想到,在网上并未找到这样的算法,拿出来给大家分享一下,如果网上没有的话,我决定给它起名叫做 CSF迭代法,如果这个算法早已经存在,那就…

12、play整合Akka

1、简介 Akka使用actor模型来提高抽象级别,并提供一个更好的平台来构建正确的并发和可扩展的应用程序。在容错方面,它采用了“Let it crash”的模式,这种模式在电信行业获得了巨大成功,用于构建永不停止的自我修复系统应用程序。…

ASP.NET Core 添加统一模型验证处理机制

一.前言模型验证自ASP.NET MVC便有提供,我们可以在Model(DTO)的属性上加上数据注解(Data Annotations)特性,在进入Action之前便会根据数据注解,来验证输入的数据是否合法,下面介绍以下如何统一处理验证并返…

13、play中实现信息国际化

目录 1、指定应用使用的语言 2、语言配置文件 3、在Controller中使用 4、在模板中使用 5、改变当前请求的语言 6、格式化信息 1、指定应用使用的语言 在conf/application.conf中进行配置: 这些语言标记将用于创建play.i18n.Lang实例。要访问应用程序支持的语…

讨论过后而引发对EF 6.x和EF Core查询缓存的思考

前言最近将RabbitMQ正式封装引入到.NET Core 2.0项目当中,之前从未接触过这个高大上的东东跟着老大学习中,其中收获不少,本打算再看看RabbitMQ有时间写写,回来后和何镇汐大哥探讨了一点关于EF和EF Core的内容,于是乎本…

CF297E-Mystic Carvings【树状数组】

正题 题目链接:https://www.luogu.com.cn/problem/CF297E 题目大意 2∗n2*n2∗n个点的圆,nnn条圆上不交的弦,选择三条使得每条弦对应的弧上的点数量相等。 解题思路 就这5种情况,其中满足条件的是222和555,我们用容斥去掉1,3,41,…

14、使用play搭建一个web应用用例

目录 1、play下载 2、启动play项目 3、将项目导入到eclipse 4、play项目中前端开发 5、添加bootstrap ace页面模板 1、play下载 找到官网,直接下载即可 2、启动play项目 解压文件,进入到项目顶级目录 等一会,下载jar包,第一…

EF Core 2.0使用MsSql/Mysql实现DB First和Code First

环境Visual Studio 2017 最新版本的.NET Core 2.0 SDK最新版本的 Windows PowerShell开始搭建1、在 Visual Studio 2017 中创建新项目“文件”>“新建”>“项目”从左侧菜单中选择“已安装”>“模板”>“Visual C#”>“.NET Core”。选择“ASP.NET Core Web 应用…

基于SSM+JBPM的智能化OA办公平台

目录 1、项目介绍 2、业务架构和技术架构 3、数据模型 4、界面展示 写在前面:如果有小伙伴儿想获取智能化OA办公平台管理系统的对应源码和数据表结构,可以关注博主然后给博主发私信哟。 1、项目介绍 本项目是一款智能化OA办公平台,其目的…

森近林之助【字符串处理】

森近林之助森近林之助森近林之助 题目大意 输入n个字符串,每一位总共要出现两个“1”,一个“0”,求最少要加多少个字符串才能满足条件 解题思路: 这题就是将每一位出现“1”和“0”的次数加在一起,看每一位缺多少个…

EFCore2.0@Xamarin.Forms

由于忙于Xamarin的书的创作很久没有和大家见面了,回到博客我会陆续更新一些最新的Xamarin技术,还有最近一直在努力的人工智能相关知识。话说csdn的博客改版了。总觉得变化是好事情啊。 这篇博客,我想和大家说说EFCore,在.NET…

花生采摘

花生采摘花生采摘花生采摘 题目描述 鲁宾逊先生有一只宠物猴,名叫多多。这天,他们两个正沿着乡间小路散步,突然发现路边的告示牌上贴着一张小小的纸条:“欢迎免费品尝我种的花生!——熊字”。 鲁宾逊先生和多多都很…

2、mybatis的基本使用

对于初学者,如果进行mybatis的学习呢?我总结了几点,会慢慢的更新出来。首先大家需要了解mybatis是什么、用mybatis来做什么、为什么要用mybatis、有什么优缺点;当知道了为什么的时候就开始了解如何用的问题,如何使用my…