Netty NioEventLoop详解

文章目录

  • 前言
  • 类图
  • 主要功能
  • NioEventLoop如何实现事件循环
  • NioEventLoop如何处理多路复用
  • Netty如何管理Channel和Selector
      • 管理Channel
      • 管理Selector
      • 注意事项


前言

Netty通过事件循环机制(EventLoop)处理IO事件和异步任务,简单来说,就是通过一个死循环,不断处理当前已发生的IO事件和待处理的异步任务。
① NioEventLoop是一个基于JDK NIO的异步事件循环类,它负责处理一个Channel的所有事件在这个Channel的生命周期期间。

② NioEventLoop的整个生命周期只会依赖于一个单一的线程来完成。一个NioEventLoop可以分配给多个Channel,NioEventLoop通过JDK Selector来实现I/O多路复用,以对多个Channel进行管理。

③ 如果调用Channel操作的线程是EventLoop所关联的线程,那么该操作会被立即执行。否则会将该操作封装成任务放入EventLoop的任务队列中。

④ 所有提交到NioEventLoop的任务都会先放入队列中,然后在线程中以有序(FIFO)/连续的方式执行所有提交的任务。

⑤ NioEventLoop的事件循环主要完成了:

  • 已经注册到Selector的Channel的监控,并在感兴趣的事件可执行时对其进行处理;
  • 完成任务队列(taskQueue)中的任务,以及对可执行的定时任务和周期性任务的处理(scheduledTaskQueue中的可执行的任务都会先放入taskQueue中后,再从taskQueue中依次取出执行)。

类图

示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。

主要功能

NioEventLoop 主要负责以下几个方面的功能:

  1. 事件循环NioEventLoop 是一个单线程的事件循环,它不断地轮询注册在其上的 Channel,看是否有就绪的 I/O 事件(如读、写、连接等),然后进行相应的处理。
  2. 任务执行:除了处理 I/O 事件外,NioEventLoop 还负责执行定时任务和普通任务。这些任务可以是用户自定义的,也可以是 Netty 框架内部的。
  3. Channel 的注册与注销:Netty 中的 Channel 在创建后需要注册到一个 EventLoop 上,这样它才能开始处理 I/O 事件。同样地,当 Channel 不再需要时,也需要从 EventLoop 上注销。
  4. Selector 的管理NioEventLoop 内部使用 Java NIO 的 Selector 来轮询 Channel 的就绪状态。它负责 Selector 的创建、销毁以及选择操作。

在 Netty 中,通常会有多个 NioEventLoop 实例,它们通常与多线程模型结合使用,以实现真正的并发处理。每个 NioEventLoop 负责处理一组 Channel 的 I/O 事件,这样可以将不同的 Channel 分布到不同的线程上,从而实现并发处理。

总的来说,NioEventLoop 是 Netty 中负责处理 I/O 事件和任务执行的核心组件,它使得 Netty 能够高效地处理大量的网络连接和 I/O 操作。

NioEventLoop如何实现事件循环

NioEventLoop在Netty中实现事件循环的过程是Netty网络框架的核心机制之一,它结合了Java NIO的非阻塞特性和事件驱动模型,以高效地处理网络事件。以下是NioEventLoop如何实现事件循环的详细过程:

  1. 轮询就绪事件
    在事件循环中,NioEventLoop调用Selectorselect()方法来等待Channel上就绪的事件。select()方法会阻塞,直到至少有一个Channel的事件就绪,或者超时。

  2. 处理就绪事件
    一旦select()方法返回,NioEventLoop会获取就绪的Channel集合,并遍历这些Channel。对于每个就绪的Channel,NioEventLoop会根据其感兴趣的事件类型调用相应的处理器(通常是ChannelPipeline中的ChannelInboundHandler)来处理这些事件。这可能包括读取数据、写入数据、处理连接等。

  3. 执行非I/O任务
    除了处理I/O事件外,NioEventLoop还负责执行提交给它的非I/O任务。这些任务可能包括用户自定义的业务逻辑、回调方法等。NioEventLoop通常有一个任务队列,用于存储待执行的任务。在事件循环中,它会检查任务队列,并依次执行其中的任务。

  4. 定时任务调度
    NioEventLoop还支持定时任务的调度。用户可以将定时任务提交给NioEventLoop,并指定任务的执行时间或执行间隔。NioEventLoop内部会维护一个定时任务列表,并根据任务的调度信息在合适的时间点执行这些任务。

通过这个事件循环机制,NioEventLoop能够高效地处理大量的网络连接和I/O事件,同时保持单线程的事件处理模型,简化了并发控制和线程安全的处理。此外,Netty还通过多线程模型和多个NioEventLoop实例的配合使用,实现了真正的并发处理,从而能够处理更大规模的并发连接和事件。

    @Overrideprotected void run() {int selectCnt = 0;// 必须使用死循环不断进行事件轮询,获取任务和通道的 IO 事件for (;;) {try {int strategy;try {/*** 返回处理策略,就分为两种:* 有任务 hasTasks() == true,就不能等待IO事件了,先直接调用 selectNow() 方法,* 获取当前准备好IO 的通道channel 的数量(0 表示一个都没有),处理 IO 事件 和任务。** 没有任务 hasTasks() == false,返回 SelectStrategy.SELECT (是负数),* 没有要及时处理的任务,先阻塞等待 IO 事件*/strategy = selectStrategy.calculateStrategy(selectNowSupplier, hasTasks());switch (strategy) {case SelectStrategy.CONTINUE:continue;case SelectStrategy.BUSY_WAIT:// fall-through to SELECT since the busy-wait is not supported with NIOcase SelectStrategy.SELECT:// 返回下一个计划任务准备运行的截止时间纳秒值long curDeadlineNanos = nextScheduledTaskDeadlineNanos();if (curDeadlineNanos == -1L) {// 返回 -1,说明没有下一个计划任务,// 将 curDeadlineNanos 设置为 NONE,// 调用 selector.select 方法时,就没有超时,// 要无限等待了,除非被唤醒或者有准备好的 IO 事件。curDeadlineNanos = NONE;}// 设置 超时等待时间nextWakeupNanos.set(curDeadlineNanos);try {if (!hasTasks()) {// 当前没有任务,那么就通过 selector 查看有没有 IO 事件// 并设置超时时间,超时时间到了那么就要执行计划任务了// 如果 curDeadlineNanos 是 NONE,就没有超时,无限等待。strategy = select(curDeadlineNanos);}} finally {// 这个更新只是为了帮助阻止不必要的选择器唤醒,// 所以使用lazySet是可以的(没有竞争条件)nextWakeupNanos.lazySet(AWAKE);}// fall throughdefault:}} catch (IOException e) {// 如果我们在这里接收到IOException,那是因为Selector搞错了。// 让我们重新构建选择器并重试。// https://github.com/netty/netty/issues/8566rebuildSelector0();selectCnt = 0;handleLoopException(e);continue;}/*** 代码走到这里,* 要么有 IO 事件,即 strategy >0* 要么就是有任务要运行。* 如果两个都不是,那么就有可能是 JDK 的 epoll 的空轮询 BUG*/selectCnt++;cancelledKeys = 0;needsToSelectAgain = false;final int ioRatio = this.ioRatio;boolean ranTasks;if (ioRatio == 100) {// 如果 ioRatiotry {if (strategy > 0) {processSelectedKeys();}} finally {// 确保运行了所有待执行任务,包括当前时间已经过期的计划任务ranTasks = runAllTasks();}} else if (strategy > 0) {// strategy > 0 说明有 IO 事件,// 那么需要调用 processSelectedKeys() 方法,执行 IO 时间final long ioStartTime = System.nanoTime();try {processSelectedKeys();} finally {// 计算 IO 操作花费的时间final long ioTime = System.nanoTime() - ioStartTime;// 按照比例计算可以运行任务的超时时间 ioTime * (100 - ioRatio) / ioRatio,// 超时时间到了,即使还有任务没有运行,也直接返回了,等下一个周期在运行这些任务ranTasks = runAllTasks(ioTime * (100 - ioRatio) / ioRatio);}} else {// strategy == 0 说明没有 IO 事件,不用处理 IO 了// 调用 runAllTasks(0) 方法,超时时间为0,这将运行最小数量的任务ranTasks = runAllTasks(0);}if (ranTasks || strategy > 0) {// 要么有任务运行,要么有 IO 事件处理if (selectCnt > MIN_PREMATURE_SELECTOR_RETURNS && logger.isDebugEnabled()) {logger.debug("Selector.select() returned prematurely {} times in a row for Selector {}.",selectCnt - 1, selector);}selectCnt = 0;} else if (unexpectedSelectorWakeup(selectCnt)) {// 即没有任务运行,也没有IO 事件处理,就有可能是 JDK 的 epoll 的空轮询 BUG// 调用 unexpectedSelectorWakeup(selectCnt) 方法处理。// 可能会重新建立 SelectselectCnt = 0;}} catch (CancelledKeyException e) {// Harmless exception - log anywayif (logger.isDebugEnabled()) {logger.debug(CancelledKeyException.class.getSimpleName() + " raised by a Selector {} - JDK bug?",selector, e);}} catch (Error e) {throw e;} catch (Throwable t) {handleLoopException(t);} finally {// Always handle shutdown even if the loop processing threw an exception.try {if (isShuttingDown()) {// 如果事件轮询器开始 shutdown,就要关闭 IO 资源closeAll();if (confirmShutdown()) {return;}}} catch (Error e) {throw e;} catch (Throwable t) {handleLoopException(t);}}}}

NioEventLoop如何处理多路复用

NioEventLoop 在 Netty 中处理多路复用的方式主要是基于 Java NIO 的非阻塞特性和选择器(Selector)机制。多路复用允许单个线程同时处理多个通道(Channel)的 I/O 事件,从而提高了系统的吞吐量和响应速度。

以下是 NioEventLoop 如何处理多路复用的具体步骤:

  1. 初始化与注册

    • NioEventLoop 在初始化时创建一个 Selector 对象,用于监控多个 Channel 的状态。
    • 当一个 Channel 需要处理 I/O 事件时,它会被注册到 NioEventLoopSelector 上,并指定感兴趣的事件类型(如读、写等)。
  2. 轮询就绪事件

    • NioEventLoop 进入事件循环,调用 Selectorselect() 方法等待通道上就绪的事件。
    • select() 方法会阻塞,直到至少有一个 Channel 的事件就绪,或者超时。
  3. 处理就绪事件

    • select() 方法返回时,NioEventLoop 获取就绪的 Channel 集合。
    • 对于每个就绪的 ChannelNioEventLoop 根据其感兴趣的事件类型调用相应的处理器(如 ChannelInboundHandler)来处理这些事件。
  4. 多路复用核心

    • Selector 的核心作用在于它能够同时监控多个 Channel,并且只选择那些处于就绪状态的 Channel 进行处理。
    • 通过这种方式,NioEventLoop 可以使用单个线程高效地处理大量并发的 Channel,而无需为每个 Channel 创建一个独立的线程。
  5. 异步非阻塞通信

    • 由于 Netty 采用了异步通信模式,NioEventLoop 中的 IO 操作(如读、写)都是非阻塞的。
    • 这意味着当一个 IO 操作不能立即完成时(例如,等待数据从网络读取),线程不会被阻塞,而是可以继续处理其他任务或事件。
  6. 任务调度与执行

    • 除了处理 I/O 事件外,NioEventLoop 还负责执行提交给它的任务(如定时任务、用户自定义任务等)。
    • 这些任务与 I/O 事件一起,在 NioEventLoop 的事件循环中得到调度和执行。

Netty如何管理Channel和Selector

管理Channel

  1. 注册Channel
    当一个新的连接建立时,Netty会创建一个新的Channel实例(例如NioSocketChannelNioServerSocketChannel),并将其注册到NioEventLoop中的Selector上。注册过程包括将Channel添加到Selector的监控列表中,并设置其感兴趣的事件类型(如读、写、连接等)。

  2. 事件处理
    一旦Selector检测到某个Channel上有事件就绪(例如数据可读或可写),它会通知NioEventLoop。然后,NioEventLoop会调用相应的ChannelPipelineChannelHandler来处理这些事件。

  3. 关闭Channel
    当连接关闭时,Netty会注销Channel并从Selector的监控列表中移除它。同时,相关的资源也会被释放。

管理Selector

  1. 创建Selector
    NioEventLoop初始化时,它会创建一个Selector实例。这个Selector用于监控所有注册到该NioEventLoopChannel

  2. 轮询就绪事件
    NioEventLoop在事件循环中不断调用Selectorselect()方法来等待Channel上的事件就绪。一旦有事件就绪,Selector会返回这些事件的集合。

  3. 处理就绪事件
    NioEventLoop遍历Selector返回的就绪事件集合,并为每个事件调用相应的处理器。这通常涉及到调用ChannelPipeline中的ChannelHandler来处理这些事件。

  4. 优化Selector的使用
    Netty可能会使用多个SelectorNioEventLoop实例来优化性能,特别是在处理大量并发连接时。通过分散负载到多个线程和Selector上,Netty能够充分利用多核CPU的资源,提高吞吐量。

注意事项

  • 通常情况下,你不需要直接管理Selector。Netty的NioEventLoopChannel抽象为你提供了高级的API来处理I/O事件和连接。
  • 在编写自定义的ChannelHandler时,你需要关注如何处理事件,而不是如何管理ChannelSelector
  • 如果你需要执行定时任务或自定义的后台任务,可以使用NioEventLoop的任务队列来提交这些任务。这些任务会在事件循环的适当时候得到执行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/804495.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【堡垒机】堡垒机的介绍

目前,常用的堡垒机有收费和开源两类。 收费的有行云管家、纽盾堡垒机; 开源的有jumpserver; 这几种各有各的优缺点,如何选择,大家可以根据实际场景来判断 什么是堡垒机 堡垒机,即在一个特定的网络环境下&…

李沐23_LeNet——自学笔记

手写的数字识别 知名度最高的数据集:MNIST 1.训练数据:50000 2.测试数据:50000 3.图像大小:28✖28 4.10类 总结 1.LeNet是早期成功的神经网络 2.先使用卷积层来学习图片空间信息 3.使用全连接层来转换到类别空间 代码实现…

【oracle数据库安装篇一】Linux5.6基于LVM安装oracle10gR2单机

说明 本篇文章主要介绍了Linux5.6基于LVM安装oracle10gR2单机的配置过程,比较详细,基本上每一个配置部分的步骤都提供了完整的脚本,安装部分都提供了简单的说明和截图,帮助你100%安装成功oracle数据库。 安装过程有不明白的地方…

二维相位解包理论算法和软件【全文翻译- DCT相位解包裹(5.3.2)】

5.3.2 基于 DCT 的方法 在本节中,我们将详细介绍如何通过 DCT 算法解决非加权最小二乘相位解缠问题,而不是通过FFT.我们将使用公式 5.53 所定义的二维余弦变换。我们开发的算法等同于 FFT 方法 2(第 5.3.1 节)。与 FFT 方法 I 等价的 DCT 算法也可以推导出来,但我们将其作…

PlayerSettings.WebGL.emscriptenArgs设置无效的问题

1)PlayerSettings.WebGL.emscriptenArgs设置无效的问题 2)多个小资源包合并为大资源包的疑问 3)AssetBundle在移动设备上丢失 4)Unity云渲染插件RenderStreaming,如何实现多用户分别有独立的操作 这是第381篇UWA技术知…

Meta 的 Llama 模型系列即将迎来第三次大更新

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

linux启动流程(s3c2400)

概述 大致流程:内核(kernel)都是由bootloader程序引导启动的,所以我们应该先烧进去bootloader程序。然后可以通过保存的内核代码或者通过远程连接(nfs/tftp)的主机下载再运行,再挂载根文件系统。…

ppt从零基础到高手【办公】

第一章:文字排版篇01演示文稿内容基密02文字操作规范03文字排版处理04复习&作业解析第二章:图形图片图表篇05图形化表达06图片艺术化07轻松玩转图表08高效工具&母版统一管理09复习&作业解析10轻松一刻-文字图形小技巧速学第三章:…

SWM341系列应用(RTC、FreeRTOS\RTTHREAD应用和Chip ID)

SWM341系列RTC应用 22.1、RTC的时钟基准 --liuzc 2023-8-17 现象:客户休眠发现RTC走的不准,睡眠2小时才走了5分钟。 分析与解决:经过排查RTC的时钟源是XTAL_32K,由于睡眠时时设置XTAL->CR0;,会把XTAL_32K给关…

C语言:指针详解(1)

目录 一、内存和地址 1.内存 2.究竟该如何理解编址 二、指针变量和地址 1.取地址操作符(&) 2.解引用操作符(*) 3.指针变量的大小 三、指针变量类型的意义 1.指针的解引用 2.指针-整数 3.void*指针 四、const修饰指针 1.const修饰变量 2.const修饰指针变量 五…

公开课学习——仿抖音直播平台

文章目录 直播抖音的直播原理Java继承直播客户端工具: ffmpeg客户端和网页集成CDN网络——性能提升关键——边缘计算 实时聊天——IM系统怎么实现?——websocketIM系统消息如何转发?直播场景IM系统是什么样子? 直播 抖音的直播原…

安全操作代码优化思路

理论依据 数据增强和样本选择 在训练阶段,您可以考虑添加数据增强来提升模型的鲁棒性和泛化能力。针对人脸检测任务,可以尝试以下改进: 对输入图像进行随机裁剪、缩放、旋转、翻转等数据增强操作,以增加数据的多样性。 使用难样…

操作系统—修改xv6内核调度算法

文章目录 修改xv6内核调度算法1.实验环境2.基于优先级的调度算法(1).基本实现思路(2).实现流程(3).一些问题 3.乐透调度算法(1).思路(2).实现流程(3).一些问题 总结参考资料 修改xv6内核调度算法 1.实验环境 这一次的实验因为是在xv6内核中实现一些调度算法,因此我…

在Linux系统上实现TCP(socket)通信

一.什么TCP TCP(传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议。 二.TCP通信流程 三. TCP 服务器端 1 创建socket int sockfd socket(AF_INET, SOCK_STREAM, 0); //SOCK_STREAM tcp通信2 绑定(bind) struct sockaddr_in myad…

C++实现幻方实验

我们这个实验目的是实现大于2的奇数的n阶幻方 根据上述的例子我们可以看到一些规律,显示1放在最上方中间的位置,然后向右上方延申,在达到n这个数字时,停止延申,然后在n的下方开始n1的新一轮延申。明白了原理之后就很容…

计算机专业,不擅长打代码,考研该怎么选择?

考研其实和你的代码能力关系不大 所以在选学校以前可以看看有哪些学校复试是要求上机撸代码的,可能会要求比较严 初试真的不用担心代码问题,我也是基本零编程能力就开始备考考研的... 本人双非科班出身备考408成功上岸,在这里也想给想考40…

css面试题--定位与浮动

1、为什么需要清除浮动? 在非IE浏览器下,容器不设高度且子元素浮动时,容器高度不能被内容撑开,内容会溢出到容器外面而影响布局。这种现象被称为浮动。 浮动的原理:浮动元素脱离文档流,不占用空间&#xff…

使用 wangeditor 解析富文本并生成目录与代码块复制功能

在 Web 开发中&#xff0c;经常需要使用富文本编辑器来编辑和展示内容。wangeditor 是一个强大的富文本编辑器&#xff0c;提供了丰富的功能和灵活的配置&#xff0c;但是官方并没有提供目录导航和代码块的复制功能&#xff0c;所以我自己搞了一个 <template><div cla…

5个超好用的Python工具,赶紧码住!

Python开发软件可根据其用途不同分为两种&#xff0c;Python代码编辑器和Python集成开发工具&#xff0c;两者配合使用极大的提高Python开发人员的编程效率。掌握调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制等操作。 Python常用工具&…

小白新手学习 Python 使用哪个 Linux 系统更好?

对于小白新手学习Python&#xff0c;选择哪个Linux系统是一个很重要的问题&#xff0c;因为不同的Linux发行版&#xff08;distribution&#xff09;有着不同的特点、优势和适用场景。在选择时&#xff0c;需要考虑到易用性、学习曲线、社区支持等因素。 Ubuntu Ubuntu 是一个…