netty worker线程数量_Dubbo线程模型

516d217a2e0f03c0113c7bee1a92c825.png
Dubbo中线程池的应用还是比较广泛的,按照consumer端到provider的RPC的方向来看,consumer端的应用业务线程到netty线程、consuemr端dubbo业务线程池,到provider端的netty boss线程、worker线程和dubbo业务线程池等。这些线程各司其职相互配合,共同完成dubbo RPC服务调用,理解dubbo线程模型对于学习Dubbo原理很有帮助。

dubbo线程模型包括线程模型策略和dubbo线程池策略两个方面,下面就依次进行分析。

dubbo线程模型

Dubbo默认的底层网络通信使用的是Netty,服务提供方NettyServer使用两级线程池,其中EventLoopGroup(boss)主要用来接收客户端的链接请求,并把完成TCP三次握手的连接分发给EventLoopGroup(worker)来处理,注意把boss和worker线程组称为I/O线程,前者处理IO连接事件,后者处理IO读写事件。

设想下,dubbo provider端的netty IO线程是如何处理业务逻辑呢?如果处理逻辑较为简单,并且不会发起新的I/O请求,那么直接在I/O线程上处理会更快,因为这样减少了线程池调度与上下文切换的开销,毕竟线程切换还是有一定成本的。如果逻辑较为复杂,或者需要发起网络通信,比如查询数据库,则I/O线程必须派发请求到新的线程池进行处理,否则I/O线程会被阻塞,导致处理IO请求效率降低。

那Dubbo是如何做的呢?

Dubbo中根据请求的消息类是直接被I/O线程处理还是被业务线程池处理,Dubbo提供了下面几种线程模型:

c1f78c142051af5fc08ae35d9dcfdbe3.png
  • all(AllDispatcher类):所有消息都派发到业务线程池,这些消息包括请求、响应、连接事件、断开事件等,响应消息会优先使用对于请求所使用的线程池。
  • direct(DirectDispatcher类):所有消息都不派发到业务线程池,全部在IO线程上直接执行。
  • message(MessageOnlyDispatcher类):只有请求响应消息派发到业务线程池,其他消息如连接事件、断开事件、心跳事件等,直接在I/O线程上执行。
  • execution(ExecutionDispatcher类):只把请求类消息派发到业务线程池处理,但是响应、连接事件、断开事件、心跳事件等消息直接在I/O线程上执行。
  • connection(ConnectionOrderedDispatcher类):在I/O线程上将连接事件、断开事件放入队列,有序地逐个执行,其他消息派发到业务线程池处理。

dubbo线程池可选模型较多,下面以DirectDispatcher类进行分析,其他流程类似就不在赘述。

public class DirectChannelHandler extends WrappedChannelHandler {@Overridepublic void received(Channel channel, Object message) throws RemotingException {ExecutorService executor = getPreferredExecutorService(message);if (executor instanceof ThreadlessExecutor) {try {executor.execute(new ChannelEventRunnable(channel, handler, ChannelState.RECEIVED, message));} catch (Throwable t) {throw new ExecutionException(message, channel, getClass() + " error when process received event .", t);}} else {handler.received(channel, message);}}
}

DirectDispatcher类重写了received方法,注意 ThreadlessExecutor 被应用在调用 future.get() 之前,先调用 ThreadlessExecutor.wait(),wait 会使业务线程在一个阻塞队列上等待,直到队列中被加入元素。很明显,provider侧调用getPreferredExecutorService(message)返回的不是ThreadlessExecutor,所以会在当前IO线程执行执行。

其他事件,比如连接、异常、断开等,都是在WrappedChannelHandler中默认实现:执行在当前IO线程中执行的,代码如下:
@Override
public void connected(Channel channel) throws RemotingException {handler.connected(channel);
}
@Override
public void disconnected(Channel channel) throws RemotingException {handler.disconnected(channel);
}
@Override
public void sent(Channel channel, Object message) throws RemotingException {handler.sent(channel, message);
}
@Override
public void caught(Channel channel, Throwable exception) throws RemotingException {handler.caught(channel, exception);
}

dubbo线程模型策略

了解了dubbo线程模型之后,小伙伴是不是该问:

既然有那么多的线程模型策略,dubbo线程模型具体使用的是什么策略呢?

从netty启动流程来看,初始化NettyServer时会进行加载具体的线程模型,代码如下:

public NettyServer(URL url, ChannelHandler handler) throws RemotingException {super(ExecutorUtil.setThreadName(url, SERVER_THREAD_POOL_NAME), ChannelHandlers.wrap(handler, url));
}
public static ChannelHandler wrap(ChannelHandler handler, URL url) {return ChannelHandlers.getInstance().wrapInternal(handler, url);
}
protected ChannelHandler wrapInternal(ChannelHandler handler, URL url) {return new MultiMessageHandler(new HeartbeatHandler(ExtensionLoader.getExtensionLoader(Dispatcher.class).getAdaptiveExtension().dispatch(handler, url)));
}

这里根据URL里的线程模型来选择具体的Dispatcher实现类。在此,我们再提一下Dubbo提供的Dispatcher实现类,其默认的实现类是all,也就是AllDispatcher类。既然Dispatcher是通过SPI方式加载的,也就是用户可以自定义自己的线程模型,只需实现Dispatcher类然后配置选择使用自定义的Dispatcher类即可。

dubbo线程池策略

dubbo处理流程,为了尽量早地释放Netty的I/O线程,某些线程模型会把请求投递到线程池进行异步处理,那么这里所谓的线程池是什么样的线程池呢?

其实这里的线程池ThreadPool也是一个扩展接口SPI,Dubbo提供了该扩展接口的一些实现,具体如下:
  • FixedThreadPool:创建一个具有固定个数线程的线程池。
  • LimitedThreadPool:创建一个线程池,这个线程池中的线程个数随着需要量动态增加,但是数量不超过配置的阈值。另外,空闲线程不会被回收,会一直存在。
  • EagerThreadPool:创建一个线程池,在这个线程池中,当所有核心线程都处于忙碌状态时,将创建新的线程来执行新任务,而不是把任务放入线程池阻塞队列。
  • CachedThreadPool:创建一个自适应线程池,当线程空闲1分钟时,线程会被回收;当有新请求到来时,会创建新线程。

知道了这些线程池之后,那么是什么时候进行SPI加载对应的线程池实现呢?具体是在dubbo 线程模型获取对应线程池时进行SPI加载的,具体逻辑在方法 org.apache.dubbo.common.threadpool.manager.DefaultExecutorRepository#createExecutor中:

private ExecutorService createExecutor(URL url) {return (ExecutorService) ExtensionLoader.getExtensionLoader(ThreadPool.class).getAdaptiveExtension().getExecutor(url);
}
@SPI("fixed")
public interface ThreadPool {@Adaptive({THREADPOOL_KEY})Executor getExecutor(URL url);
}

从代码来看,默认的线程池策略是fixed模式的线程池,其coreSize默认为200,队列大小为0,其代码如下:

public class FixedThreadPool implements ThreadPool {@Overridepublic Executor getExecutor(URL url) {String name = url.getParameter(THREAD_NAME_KEY, DEFAULT_THREAD_NAME);int threads = url.getParameter(THREADS_KEY, DEFAULT_THREADS);int queues = url.getParameter(QUEUES_KEY, DEFAULT_QUEUES);return new ThreadPoolExecutor(threads, threads, 0, TimeUnit.MILLISECONDS,queues == 0 ? new SynchronousQueue<Runnable>() :(queues < 0 ? new LinkedBlockingQueue<Runnable>(): new LinkedBlockingQueue<Runnable>(queues)),new NamedInternalThreadFactory(name, true), new AbortPolicyWithReport(name, url));}
}
注:其他线程池策略和FixedThreadPool类似,只不过线程池参数不同而已,这里不再赘述。

小结

从dubbo提供的几种线程模型和线程池策略来看,基本上能满足绝大多数场景的需求了,由于dubbo线程模型和线程池策略都是通过SPI的方式进行加载的,因此如果业务上需要,我们完全可以自定义对应的线程模型和线程池策略,只需要配置下即可。

推荐阅读

Dubbo RPC在consumer端是如何跑起来的​mp.weixin.qq.com
896e6b7be7fc44b5cb0e1b3e4cf94907.png
dubbo版的"明朝那些事儿"​mp.weixin.qq.com
3d81c1f58dc29d5be0d7485309d0b6a7.png
责任链的2种实现方式,你更pick哪一种​mp.weixin.qq.com
ddbe6ca56c2aefea33cb978b8b1325a3.png
网络数据是如何传递给进程的​mp.weixin.qq.com
71dcc09394eb1e8b255b2e39f188f209.png
Linux管道那些事儿​mp.weixin.qq.com
86a999847eda443536af8a51b2996c25.png
从socket api看网络通信流程​mp.weixin.qq.com
ddbe6ca56c2aefea33cb978b8b1325a3.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/245993.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

update inner join mysql_Mysql update inner join

一&#xff1a;需求A表和B表的表结构相同&#xff0c;A表是历史表&#xff0c;B表是增量数据表&#xff1b;想要根据关联条件更新A表中的数据。二&#xff1a;表结构CREATE TABLE A (id bigint(20) NOT NULL AUTO_INCREMENT,bid bigint(20) NOT NULL ,sid bigint(20) NOT NULL …

function click_click事件的累加问题解决

click事件的 累加问题解决&#xff1a;$判断是否隐藏&#xff1a;hidden.c>span 只包含儿子.c span 包含儿子和孙子data-*嵌入自定义数据 .data(to)获取数据remove是移除标签 delete删除数组元素each()函数$(".layui-table-total .layui-table-cell").each(functi…

mysql stragg_如何在MySQL中將子查詢行的結果顯示為一列?

I have three tables Category, Movies and RelCatMov我有三個表分類,電影和RelCatMovCategory-tablecategoryid, categoryName1 thriller2 supsense3 romantic4 action5 sci-fiMovies-tablemovieid, movieName1 Avataar2 Titanic3 NinjaAssassinRelCatMov-tablecategoryid, Mo…

知道python语言应用2020答案_热点:大学moocPython语言基础与应用答案

2020年智慧树网课答案为您详细解读azMisb热点&#xff1a;大学moocPython语言基础与应用答案的详情,题主的教授应该是想要同学们找出一个值得研究和讨论的theory&#xff0c;简单来说就是你论文探讨的中心。然后需要你们定topic&#xff0c;然后搜索大量靠谱的资料&#xff0c;…

timestamp 转换 date mysql_MySQL时间函数 | 时间戳和日期之间得转换

一、时间戳转日期select FROM_UNIXTIME(1606028010, %Y-%m-%d %H:%i:%s);二、日期转时间戳select unix_timestamp(2018-01-15 09:45:16);三、时间戳格式化十位时间戳转为固定格式(yyyy-MM-dd HH:mm:ss)日期1.格式规定%M 月名字(January……December)%W 星期名字(Sunday……Satu…

python 窗口程序开发课程_从零开始学Python - 第019课:使用PyCharm开发Python应用程序...

坚持学习完前18课的小伙伴应该已经感受到了&#xff0c;随着我们对Python语言的认知在逐步加深&#xff0c;我们写的代码也越来越复杂了。“工欲善其事&#xff0c;必先利其器”&#xff0c;如果希望能够更快更好的写出代码&#xff0c;选择一个称手的开发工具是很有必要的。虽…

MySQL服务迁移到opt_mysql文件*.opt *.frm *.MYI *.MYD的迁移

注意&#xff1a;这里使用mysql 5.1,Ubuntu 11.10在机器A的/var/lib/mysql/文件夹下面有数据库smallone的文件。现在想把smallone下面对应的*.MYD *.frm *.MYI直接迁移到机器B的/var/lib/mysql/smallone下面1&#xff0c;直接在mysql中查看是否迁移成功在/etc/init.d文件夹下面…

python是一种动态语言这意味着_Python如何能成为全球最受欢迎的编程语言?该不该学Python?...

全文共3304字&#xff0c;预计学习时长10分钟 图源&#xff1a;(Python logo courtesy of https 有一种语言在过去十年受喜爱度一路飙升&#xff0c;成为最受欢迎的一种编程语言&#xff0c;它是谁&#xff1f; 千呼万唤始出来&#xff0c;没错&#xff0c;它就是我们的老弟Pyt…

mysql远程压力测试_mysql压力测试脚本实例

本文实例讲述了mysql压力测试的脚本&#xff0c;分享给大家供大家参考。具体如下&#xff1a;创建表deptcreate table dept( /*部门表*/deptno mediumint unsigned not null default 0,dname varchar(20) not null default "",loc varchar(13) not null defaul…

python pyc文件是啥_python pyc文件

这么编译&#xff1a;>>> import py_compile>>> py_compile.compile(rtest2.py)这么运行&#xff1a;MacBook-Air:Downloads huangyong$ python test2.pyc中国成都需要批量编译的话&#xff0c;这样&#xff1a;import compileallcompileall.compile_dir(rH:…

python生成csv文件带水印_Python从CSV文件导入数据和生成简单图表

我们已经完成Python的基础环境搭建工作&#xff0c;现在我们尝试导入CSV数据 我们准备一个csv测试数据&#xff0c;文件名是csv-test-data.csv数据。我们将文件传到Linux上准备导入的代码我们运行代码首先导入csv模块以便能访问所需的方法用with语句打开数据文件并把它绑定到对…

python处理csv文件案例_让繁琐的工作自动化——python处理CSV文件

让繁琐的工作自动化——python处理CSV文件CSV&#xff1a;CSV文件是一种简化的电子表格&#xff0c;不同于Excle(二进制文件)&#xff0c;CSV是纯文本文件。1.环境python3.8pycharm2020.12.读取本期实例数据haha,18,10.0jiji,16,12.1lala,17,11.9papa,11,13.3首先导入csv模块&a…

python爬取js加载的数据_JS动态加载数据不会爬?老司机教你两个方法爬取想要的数据...

学习Python的人绝大部分都是在用Python做爬虫&#xff0c;毕竟对于爬虫而言Python是不二选。但是一般简单的静态页面网站还是很好爬取的&#xff0c;对于很多动态加载的网站就不知道怎么办了&#xff0c;今天小编就给大家介绍两种爬取js加载的动态数据&#xff0c;希望对爬虫方…

python实现坐标求取_根据相机位姿求指定点的世界坐标及其python实现

Authorshaniadolphin求解目的本文将展示位姿估计的一种应用&#xff0c;即通过单目相机对环境进行测量。简单来说&#xff0c;本文的工作就是利用下面的两幅图&#xff0c;在已知P1、P2、P3、P4四点世界坐标的情况下&#xff0c;计算出其它点的世界坐标。如图所示&#xff0c;一…

c# treeview查找并选中节点_最通俗易懂的二叉查找树(BST)详解

原来来自 呆萌数据结构-06二叉查找树​imoegirl.com二叉查找树&#xff08;Binary Search Tree&#xff09;&#xff0c;简写BST&#xff0c;是满足某些条件的特殊二叉树。任何一个节点的左子树上的点&#xff0c;都必须小于当前节点。任何一个节点的右子树上的点&#xff0c;都…

服务器损坏mysql修复_云服务器mysql数据库损坏修复mysql

有的时候因为各种原因导致mysql数据库损坏,我们可以使用mysql自带的mysqlcheck命令来快速修复所有的数据库或者特定的数据库,检查优化并修复所有的数据库.1.先在运行中输入CMD,启动命令行.2.进入Mysql的Bin目录&#xff1a;D:\VHostData\MySQL5.1\bin,(这个路径在数据库的安装目…

bootstrap jquery alert_bootstrap第七课

bootstrap 模态框bootstrap是一个非常酷的前端开发框架&#xff0c;它可以大大的简化我们日常开发当中的功能与样式。它有非常漂亮的css组件和非常实用的控件供我们使用。接下来我们来看看bootstrap的内容吧&#xff01;首先大家要引入bootstrap的css和js可以在这里下载&#x…

java dao模式_Java DAO 模式

DAO 模式DAO (DataAccessobjects 数据存取对象)是指位于业务逻辑和持久化数据之间实现对持久化数据的访问。通俗来讲&#xff0c;就是将数据库操作都封装起来。对外提供相应的接口在面向对象设计过程中&#xff0c;有一些"套路”用于解决特定问题称为模式。DAO 模式提供了…

java 闭包_公司新来的女实习生问我什么是闭包?

作者&#xff1a;霍语佳来源&#xff1a;前端食堂观感度&#xff1a;?????口味&#xff1a;冰镇西瓜烹饪时间&#xff1a;20min撩妹守则第一条&#xff0c;女孩子都喜欢童话故事。那就先来讲一个童话故事~// 有一个公主// 她生活在一个充满冒险的奇妙世界里// 她遇见了她的…

织梦 mysql 配置文件_MySQL集群配置

一、介绍这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。注意&#xff01;虽然这是基于2台服务器的MySQL集群&#xff0c;但也必须有额外的第三台服务器作为管理节点&#xff0c;但这台服务器可以在集群…