高性能服务系列【十一】主题匹配

主题匹配核心算法就是字符串匹配,在字符串匹配基础上,会加入分段匹配需求,类似URL的点分式字符串。这个算法在几个场景中十分普遍。

1、应用层的路由寻址。比如反向代理中,根据请求中的URL,转发到对应的后台服务。

2、消息总线的队列匹配。这个场景非常有意思,在传统的消息队列中,主题的数量比较少,几百个主题已经算多了。但在某些应用中,会存在很夸张的主题数量,比如行情订阅和高频交易,这个后面再细说。

3、行情订阅,这个跟消息总线很像。一些专业消息总线,如TIBCO和UM,两者具有重叠区域。

大部分主题匹配的应用场景比较简单,性能需求没有那么苛刻。我们就以类似行情发布和订阅场景为例,假设有100W只股票代码随时都可能发布行情,而消费者会随机订阅其中的1W只股票行情。

我们不考虑行情压缩,减少每条行情的字节数,这个不在主题匹配考虑范围内。如果采用组播技术,有一个很有效的方法,对于同一个组播地址,可以指定1W个端口号,每个端口绑定100只股票代码。于是,即使100W只股票代码,每个端口也只需要承担100只股票的行情量。而消费者根据订阅请求,监听对应端口号,就能拿到所需要的行情数据。

在采用前面技术之后,对于每个节点,需要处理的数据量大幅下降,但仍然高于实际需要的数据量。我们继续假设,需要发布10W只股票的行情,而消费者订阅其中的1W只股票行情。

股票或者主题来说,通常会采用类似URL那样的点分式来表示,比如EXHG.123456.SECT,而消费者会采用EXHG.*,或者EXHG.1234__.SECT。这两种模式匹配的算法,除了采用字典树,貌似没有其他办法。当然字典树是可以继续优化的,具体参考前面CPU和内存章节。


更多场景下,订阅的1W只股票,是随机指定的。因此,发布的股票和订阅的股票之间,需要进行精确匹配。普通做法是,1W只股票先构建一个索引,比如C++的std::map。每收到一条消息,就去匹配索引。则时间复杂度为:10W * LOG2(1W) > 100W。

进一步升级,消费者锁订阅的1W只股票,以哈希表构建索引,则时间复杂度为:10W * 常数C > 10W。我们知道,时间复杂度的常数C,最小为1,因为10W只股票的行情,不管有没有消费者,都是要发布的。将10W只股票分散到多个CPU,提供并发度,仍然是个不错的降低延迟的优化措施。

还有更多的优化措施,但性价比低,只有极少数更加苛刻的场景才需要考虑。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/773714.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

代码随想录刷题随记6-哈希表2,双指针

代码随想录刷题随记6-哈希表2,双指针 454.四数相加II leetcode链接 这道题目是四个独立的数组,只要找到A[i] B[j] C[k] D[l] 0就可以,不用考虑有重复的四个元素相加等于0的情况 思路可以把A和B相加做成map,C和D相加做成另一个map。这样…

MQTT.fx和MQTTX 链接ONENET物联网提示账户或者密码错误

参考MQTT.fx和MQTTX 链接ONENET物联网开发平台避坑细节干货。_mqttx和mqttfx-CSDN博客 在输入password和username后还是提示错误,是因为在使用token的时候,key填写错误,将设备的密钥填入key中

How to convert .py to .ipynb in Ubuntu 22.04

How to convert .py to .ipynb in Ubuntu 22.04 jupyter nbconvertp2j 最近看到大家在用jupyter notebook,我也试了一下,感觉还不错,不过,也遇到了一些问题,比方说,我有堆的.py文件,如果要一个一…

堆排序-C语言

算法思想: 建立一个大根堆;(将一棵普通的树转化为大根堆) 每次将根和待排序的最后一个交换,然后再调整,循环len-1次即可; 调整为大根堆的方法: 从最后一棵子树开始,从后往前调整; 每次调整,从上往下; 调整为大根堆; 堆调整的代…

赛氪网亮相中国人工智能产业发展联盟会议,共筑赛事生态新篇章

2024年3月14日至15日,备受瞩目的中国人工智能产业发展联盟(AIIA)第十一次全体会议在海南海口盛大召开。作为人工智能领域的重要交流与合作平台,此次会议吸引了300余位联盟成员单位代表齐聚一堂,共襄盛举。在这场人工智…

blog-engine-07-gatsby 建极速网站和应用程序 基于React的最佳框架,具备性能、可扩展性和安全性。

拓展阅读 blog-engine-01-常见博客引擎 jekyll/hugo/Hexo/Pelican/Gatsby/VuePress/Nuxt.js/Middleman 对比 blog-engine-02-通过博客引擎 jekyll 构建 github pages 博客实战笔记 blog-engine-02-博客引擎jekyll-jekyll 博客引擎介绍 blog-engine-02-博客引擎jekyll-jekyl…

NIO与AIO

NIO与AIO NIO模型 在 LInux 环境中,java.nio.channels.Selector 的子类叫做 sun.nio.ch.EPollSelectorImpl ,其底 层是基于 Epoll 模型去实现的 IO 多路复用器。 对于 Epoll 模型 我们需要了解到它底层的三个函数 在 JDK 实现的底层中,EPol…

某对象存储元数据集群改造流水账

软件产品:某厂商提供的不便具名的对象存储产品,核心底层技术源自HDFS和Amazon S3,元数据集群采用了基于MongoDB的NOSQL数据库产品和MySQL数据库产品相结合。 该产品的元数据逻辑示意图如下: 业务集群现状:当前第3期建…

面试(二)

目录 1.STL六大部件 2.STL容器 3.汇编 4.基于Freertos工训机器人面试 5.opencv常用函数 6.陀螺仪模块 JY901B 7.增量式与位置式PID区别: 8.MQTT 12.描述一下gcc的编译过程? 13.内存的最⼩存储单位以及内存的最⼩计量单位分别是? 14…

勾八头歌之分类回归聚类

一、机器学习概述 第1关机器学习概述 B AD B BC 第2关常见分类算法 #编码方式encodingutf8from sklearn.neighbors import KNeighborsClassifierdef knn(train_data,train_label,test_data):input:train_data用来训练的数据train_label用来训练的标签test_data用来测试的数据…

【Monero】Onion Monero Blockchain Explorer | 洋葱门罗币区块链浏览器

github:onion-monero-blockchain-explorer Onion Monero Blockchain Explorer特点: • 没有cookie,没有网络分析跟踪器,没有image, • 开源, • 完全用C编写, • 显示加密的付款 ID, • 显示环…

Django auth模块

【一】命令行创建用户 【1】语法 python manage.py createsuper【2】示例 用户名 默认是是电脑名称 邮箱 可以填也可以不填 密码 terminal中:输入密码不显示出来manage.py中:明文输入输入密码太简单会提示 Username (leave blank to use administra…

20231911 2022-2023-2 《网络攻防实践》实验三

1.实验内容 1、实践tcpdump 使用tcpdump开源软件对在本机上访问www.tianya.cn网站过程进行嗅探,回答问题:你在访问www.tianya.cn网站首页时,浏览器将访问多少个Web服务器?他们的IP地址都是什么? 2、实践Wireshark 使…

Cesium for UE-03-添加数据集(倾斜摄影)

继续上一章节,在创建了项目和关卡的基础上添加倾斜摄影 重新打开上次的项目和关卡 如果你已经关掉了上次的项目和关卡,可以重新打开ue,然后选择 选择 文件-打开关卡,在弹出的窗口中,选择 上次的关卡,并点击…

从汇编以及栈帧层面理解内联函数的原理

宏太复杂,所以弄出内联,内联适合小函数,把函数连到程序里面,这样就直接用,不需要调用,但是它占用空间。 C推荐 const和enum替代宏常量 inline去替代宏函数 宏缺点: 1、不能调试 2、没有类型安…

多层感知机-----自我神经MLP入门笔记

多层感知机(Multilayer Perceptron, MLP)是一种常见的人工神经网络(Artificial Neural Network, ANN)模型,它由多个人工神经元组成的多层结构。每个神经元都与前一层的所有神经元连接,并且每条连接都有一个…

【ZZULIOJ】1004: 三位数的数位分离(Java)

目录 题目描述 输入 输出 样例输入 Copy 样例输出 Copy code 题目描述 从键盘输入一个任意的三位正整数,分别求出其个位、十位和百位上的数字。 输入 输入任意的一个三位正整数。 输出 依次输出个位、十位、百位上的数字。以空格间隔,但最后一…

HarmonyOS(鸿蒙开发)入门篇

如果需要学习鸿蒙开发可以查看以下学习资源链接 OpenAtom OpenHarmony Develop applications - HUAWEI HarmonyOS APP 转载请注明出处HarmonyOS(鸿蒙开发)入门篇-CSDN博客,谢谢!

【ZZULIOJ】1000: 从今天开始入坑C语言(Java)

目录 题目描述 输入 输出 样例输入 样例输出 code 题目描述 “C语言”在程序设计语言中是个闪亮的名字,每个学习计算机及相关专业的人在学习程序设计语言时都会首先关注它。C语言是 20 世纪 70 年代初在贝尔实验室开发出来的一种广为使用 的计算机程序设计语言…