【Java技术专题】「入门到精通系列教程」深入探索Java特性中并发编程体系的原理和实战开发指南( 实现可伸缩IO专题)— 上

深入探索Java特性中并发编程体系的原理和实战开发指南( 实现可伸缩IO专题)

  • 总体内容概览
  • 可扩展的网络服务
    • 分布式对象
    • 传统的阻塞式网络服务
      • 每个请求或连接可以在独立的线程中进行处理
        • Server服务处理请求类
        • Handler处理逻辑类
        • 优点
        • 缺点
    • 可扩展性目标
      • 平稳降级负载增加时
      • 持续改进随着资源增加
      • 满足可用性和性能目标
      • 分治法实现可伸缩性目标
    • 分治解决方案
      • 将处理划分为小任务
      • 事件驱动的执行
      • 使用Java NIO的非阻塞机制
      • 事件驱动设计的无穷可能性
  • 事件驱动
    • 特点分析
      • 资源损耗的减少
      • 更少的开销
      • 调度速度的优化
      • 类似于GUI事件驱动的操作
    • 问题分析
  • 反应堆模式
    • 单线程模式
      • 基本工作流程
      • 整体运行架构图(借鉴Reactor官网图)
      • 定义Reactor核心类
        • Reactor构造器
          • Acceptor类
        • run方法
        • dispatch方法
        • Handler对象类
          • Handler构造函数
          • run方法
            • read方法
            • send方法
      • 对于单线程模式优缺点分析
  • 参考资料

总体内容概览

通过使用Java NIO的非阻塞I/O API,可以实现高性能、高并发的网络服务。它提供了更灵活的I/O操作方式,能够处理大量的并发连接和请求,提供更好的可扩展性和响应能力。同时,结合事件驱动处理模型,可以实现高效的事件处理和资源利用。
在这里插入图片描述

  • 【可扩展的网络服务】指能够处理大量并发连接和请求的网络服务,它能够有效地利用系统资源,提供高性能和高吞吐量的服务,网络服务和分布式对象是现代计算中常见的概念,它们在构建分布式系统和提供网络功能方面起着重要的作用。
    在这里插入图片描述

  • 【事件驱动处理】是一种编程模型,其中程序的执行是由事件的发生和相应的事件处理器来驱动的。在可扩展的网络服务中,事件驱动处理模型常用于处理网络连接和请求。当有新的连接或请求到达时,会触发相应的事件,然后通过事件处理器来处理这些事件。

  • 【反应模式(Reactor Pattern)】是一种常见的事件驱动处理模式,它基于事件循环机制。在反应模式中,有一个事件循环(Event Loop)负责监听事件,并将事件分发给相应的事件处理器进行处理。这种模式可以提供高效的事件处理和响应能力。

  • 【Java NIO(New I/O)】是Java提供的非阻塞I/O API,它提供了一套用于处理I/O操作的新的API和机制。相比于传统的阻塞I/O,Java NIO提供了更高效的I/O操作方式,特别适用于构建可扩展的网络服务。它基于事件驱动的模型,通过选择器(Selector)和通道(Channel)来实现非阻塞的I/O操作。

可扩展的网络服务

网络服务是指在计算机网络上提供的各种服务和功能。它可以包括文件传输、网页生成、计算服务等。网络服务的基本结构通常包括读取请求、解码请求、处理服务、编码回复和发送回复等步骤。每个步骤的性质和成本可能因具体的服务类型而异。

分布式对象

分布式对象是指在分布式系统中的对象,它们可以在不同的计算节点上存在,并通过网络进行通信和交互。分布式对象的设计和实现需要考虑到分布式系统的特点,如节点间的通信、数据一致性、容错性等。分布式对象通常通过远程过程调用(RPC)或消息传递等方式进行通信和交互。

传统的阻塞式网络服务

在这里插入图片描述

每个请求或连接可以在独立的线程中进行处理

传统的阻塞式网络服务中,通常采用单线程或有限线程池来处理连接和请求。这种方式存在一些限制,因为所有的连接和请求都在同一个线程中顺序处理,一个请求的处理会阻塞其他请求的处理。

Server服务处理请求类
class Server implements Runnable {public void run() {try {ServerSocket ss = new ServerSocket(PORT);while (!Thread.interrupted())new Thread(new Handler(ss.accept())).start();// or, single-threaded, or a thread pool} catch (IOException ex) { /* ... */ }}
Handler处理逻辑类
 static class Handler implements Runnable {final Socket socket;Handler(Socket s) { socket = s; }public void run() {try {byte[] input = new byte[MAX_INPUT];socket.getInputStream().read(input);byte[] output = process(input);socket.getOutputStream().write(output);} catch (IOException ex) { /* ... */ }}private byte[] process(byte[] cmd) { /* ... */ }}
}
优点
  • 每个处理程序可以在它自己的线程中启动的情况下,每个连接或请求可以在独立的线程中并发处理。这样可以提高并发性和响应能力,充分利用多核处理器的性能。

  • 每个请求都可以在自己的线程中独立运行,不会受到其他请求的影响,互不干扰,这样可以更好地利用系统资源,提高响应速度和用户体验,还可以避免一个请求的处理阻塞其他请求的处理,提高系统的并发能力和吞吐量。

缺点
  • 在使用多线程处理网络服务时,需要考虑线程安全性和资源共享的问题。确保在多个线程之间正确管理和同步共享的数据和资源,避免出现竞态条件和数据不一致的问题。

  • 如果并发请求数量过大,每个请求都启动一个独立的线程,可能会导致系统资源的过度消耗和浪费。这可能会导致系统性能下降、响应时间延长,甚至引发资源耗尽的问题。

可扩展性目标

在这里插入图片描述

平稳降级负载增加时

在面对负载增加的情况下,为了保持系统的可用性和性能,可以采取平稳降级的策略。这意味着在负载增加时,系统可以根据优先级或其他规则,逐渐降低某些功能或服务的优先级,以确保核心功能的稳定性和性能。

持续改进随着资源增加

随着资源(如CPU、内存、磁盘、带宽)的增加,可以持续改进系统的性能和可用性。这可以包括优化算法和代码、增加缓存、提高数据库查询效率等措施,以更好地利用新增的资源,并提供更好的用户体验。

满足可用性和性能目标

在设计和开发网络服务时,需要明确可用性和性能目标,并确保系统能够满足这些目标。这包括提供短延迟、满足高峰需求、可调性的服务质量等。通过合理的架构设计、负载均衡、缓存和异步处理等技术手段,可以实现这些目标。

分治法实现可伸缩性目标

分治法是一种有效的方法,用于实现任何可伸缩性目标。通过将系统划分为多个独立的组件或服务,并使用适当的通信和协调机制,可以实现系统的可伸缩性。这样可以将负载分散到多个组件上,提高系统的并发处理能力和可扩展性。

分治解决方案

在这里插入图片描述

将处理划分为小任务

为了实现高性能和可伸缩性,可以将处理过程划分为小任务,每个任务执行一个不受阻塞的操作。这样可以避免长时间的阻塞操作,提高系统的并发能力和响应性。

事件驱动的执行

通过使用事件驱动的模型,可以在每个任务被启用时执行它。通常,一个IO事件作为触发器,当有IO事件发生时,相应的任务被调度和执行。这种方式可以提高系统的并发处理能力和资源利用率。

使用Java NIO的非阻塞机制

Java NIO提供了非阻塞的读写操作和感知IO事件的调度任务。通过使用Java NIO的非阻塞I/O API,可以实现高性能的网络通信,避免阻塞操作,提高系统的并发性和响应能力。

事件驱动设计的无穷可能性

事件驱动的设计模式和机制具有无穷无尽的变化可能性。通过合理设计和实现事件驱动的架构,可以满足不同的需求和场景,提供高性能、可扩展和灵活的网络服务。

事件驱动

特点分析

在这里插入图片描述

资源损耗的减少

采用事件驱动的模型可以减少资源的消耗。相比于为每个客户端分配一个线程,可以使用线程池或异步处理方式来管理并发连接和请求。这样可以减少线程的数量,降低资源消耗,并提高系统的并发能力。

更少的开销

事件驱动的模型可以减少上下文切换的次数,因为每个事件处理程序在自己的线程中独立执行。此外,可以使用非阻塞I/O操作和异步处理方式,减少锁定操作和阻塞等待,进一步降低开销。

调度速度的优化

为了提高调度速度,可以采用高效的事件循环机制和调度算法。可以使用优先级队列、定时器和事件分发机制等技术,优化事件的调度和处理过程,提高系统的响应速度和效率。

类似于GUI事件驱动的操作

事件驱动的模型在处理网络服务时类似于GUI(图形用户界面)的事件驱动操作。可以借鉴GUI开发中的事件处理机制和设计模式,将其应用于网络服务的事件驱动处理中,以提高代码的可维护性和可扩展性。
在这里插入图片描述

问题分析

  1. 编程困难:处理并发编程是一项具有挑战性的任务,需要考虑多个线程或进程之间的交互和同步。这可能导致编程变得复杂和困难。

  2. 无法消除所有阻塞:尽管反应堆模式可以提高系统的并发性和响应能力,但仍然无法消除所有的阻塞。某些因素,如垃圾回收和页面故障,可能会导致一些阻塞情况的发生。

  3. 必须跟踪服务的逻辑状态:在使用反应堆模式时,必须跟踪服务的逻辑状态。这是因为反应堆模式依赖于事件的发生和处理,需要确保正确地处理和分发事件,以保持服务的一致性和正确性。

反应堆模式

反应堆模式和AWT线程类似,都通过事件循环机制来调度和处理IO事件,并将其分发给适当的处理程序。这种模式可以提高系统的并发性和响应能力。

  • 管理绑定处理程序事件:可以通过管理绑定处理程序事件的方式来实现事件的分发和处理。

  • 处理程序执行非阻塞操作:网络处理程序可以执行非阻塞的操作。

单线程模式

在反应堆模式中,单线程模式是一种实现方式,它使用单个线程来处理所有的IO事件和请求。在这种模式下,所有的IO事件都被注册到一个事件循环中,并由单个线程按顺序处理。

基本工作流程

在这里插入图片描述

  • 注册IO事件:所有的IO事件都被注册到事件循环中,包括读取、写入、连接等操作。

  • 事件循环:单个线程按照注册的顺序循环遍历所有的IO事件,并根据事件的类型进行相应的处理。

  • 事件处理:对于每个IO事件,单线程模式会调用相应的处理程序来执行相应的操作,例如读取数据、写入数据或建立连接。

  • 非阻塞操作:在单线程模式下,处理程序执行非阻塞的操作,以避免阻塞其他事件的处理。

  • 事件分发:处理程序根据事件的类型将结果分发给相应的处理程序或回调函数。

整体运行架构图(借鉴Reactor官网图)

单线程的反应堆模式,通过使用Selector和ServerSocketChannel来处理IO事件和监听连接请求。它使用单线程来处理所有的事件,并通过附加对象的方式将具体的处理逻辑委托给相应的处理程序。
在这里插入图片描述
根据上述架构图,可以看出来,当客户端请求过来,直接请求到了就是Reactor对象,我们来定义和开发一下Reactor类以及方法逻辑。

定义Reactor核心类

Reactor类:这是主要的反应堆类,实现了Runnable接口,它包含一个Selector对象和一个ServerSocketChannel对象,用于处理IO事件和监听连接请求。

class Reactor implements Runnable {final Selector selector;final ServerSocketChannel serverSocket;Reactor(int port) throws IOException {selector = Selector.open();serverSocket = ServerSocketChannel.open();serverSocket.socket().bind(new InetSocketAddress(port));serverSocket.configureBlocking(false);SelectionKey sk = serverSocket.register(selector,SelectionKey.OP_ACCEPT);sk.attach(new Acceptor());}// class Reactor continuedpublic void run() { // normally in a newT hreadtry {while (!Thread.interrupted()) {selector.select();Set selected = selector.selectedKeys();Iterator it = selected.iterator();while (it.hasNext())dispatch((SelectionKey)(it.next());selected.clear();}} catch (IOException ex) { /* ... */ }}void dispatch(SelectionKey k) {Runnable r = (Runnable)(k.attachment());if (r != null)r.run();}}
Reactor构造器

Reactor构造器中创建了一个Selector对象和一个ServerSocketChannel对象,并将ServerSocketChannel绑定到指定的端口。然后,将ServerSocketChannel注册到Selector上,以便监听连接请求。同时,将一个Acceptor对象附加到SelectionKey上,用于处理接受连接的事件。
在这里插入图片描述

Acceptor类

这是一个内部类,实现了Runnable接口。它用于处理接受连接的事件。在run方法中,通过调用serverSocket.accept()来接受连接,并创建一个新的Handler对象来处理该连接。

// class Reactor continuedclass Acceptor implements Runnable { // innerpublic void run() {try {SocketChannel c = serverSocket.accept();if (c != null)new Handler(selector, c);}catch(IOException ex) { /* ... */ }}}
}
run方法

通过调用selector.select()来等待IO事件的发生。一旦有事件发生,就会获取到被选中的SelectionKey集合,并遍历处理每个事件。在处理事件时,调用dispatch方法来执行相应的处理程序。

dispatch方法

dispatch方法根据SelectionKey的附加对象获取到对应的处理程序,并执行其run方法。这样可以将具体的处理逻辑委托给相应的处理程序。

在这里插入图片描述

Handler对象类

Handler是一个执行类,实现了Runnable接口。它包含一个SocketChannel对象和一个SelectionKey对象,用于与客户端进行通信。

final class Handler implements Runnable {final SocketChannel socket;final SelectionKey sk;ByteBuffer input = ByteBuffer.allocate(MAXIN);ByteBuffer output = ByteBuffer.allocate(MAXOUT);static final int READING = 0, SENDING = 1;int state = READING;Handler(Selector sel, SocketChannel c) throws IOException {socket = c; c.configureBlocking(false);// Optionally try first read nowsk = socket.register(sel, 0);sk.attach(this);sk.interestOps(SelectionKey.OP_READ);sel.wakeup();}void process() { /* ... */ }public void run() {try {if (state == READING) read();else if (state == SENDING) send();} catch (IOException ex) { /* ... */ }}void read() throws IOException {socket.read(input);if (inputIsComplete()) {process();state = SENDING;// Normally also do first write nowsk.interestOps(SelectionKey.OP_WRITE);}}void send() throws IOException {socket.write(output);if (outputIsComplete()) sk.cancel();}
}
Handler构造函数

将传入的SocketChannel对象配置为非阻塞模式,并将其注册到指定的Selector上。同时,将Handler对象附加到SelectionKey上,并设置对读取操作感兴趣。最后,调用Selector的wakeup方法,以确保Selector立即返回。

run方法

在run方法中,根据当前的状态(READING或SENDING)来执行相应的操作。如果处于READING状态,则调用read方法进行读取操作;如果处于SENDING状态,则调用send方法进行发送操作。

read方法

read方法用于从SocketChannel中读取数据。它将读取的数据存储到input ByteBuffer中,并检查是否已经完整读取了所需的数据。如果数据已经完整读取,则调用process方法进行处理,并将状态设置为SENDING。同时,将SelectionKey的兴趣操作设置为OP_WRITE,以便在下一次循环中进行写入操作。

send方法

send方法用于向SocketChannel中写入数据。它将output ByteBuffer中的数据写入到SocketChannel中,并检查是否已经完整发送了所有数据。如果数据已经完整发送,则取消SelectionKey的注册。

对于单线程模式优缺点分析

  • 优点:单线程模式的优点是简单和易于实现,因为只需要一个线程来处理所有的IO事件。

  • 缺点:无法充分利用多核处理器的性能,并且可能存在性能瓶颈。在高并发或高负载的情况下,可能需要考虑使用多线程或多进程的方式来处理IO事件。

对此我们进行改良,从而出现了多线程的反应堆模式,由于篇幅过长,在本篇文章就暂时不进行介绍多线程模式了,在下一篇文章【【Java技术专题】「入门到精通系列教程」深入探索Java特性中并发编程体系的原理和实战开发指南( 实现可伸缩IO专题)— 下】会对多线程模式以及线程池模式、终极模式(多个反应堆线程模式)进行深入分析和介绍说明。

参考资料

  • Doug Lea官方主页

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/119738.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL Join 类型

文章目录 1 Join 类型有哪些2 Inner Join3 Left Join4 Right Join5 Full Join 1 Join 类型有哪些 SQL Join 类型的区别 Inner Join: 左,右表都有的数据Left Join: 左表返回所有的行, 右表没有的补充为 NULLRight Loin: 右表返回所有的行, 左表没有的补充为 NULLFull Outer J…

Excel多线程导入数据库

文章目录 Excel多线程导入数据库1. CountDownLatch2.多线程导入数据库 Excel多线程导入数据库 书接上文 Excel20w数据5s导入 1. CountDownLatch CountDownLatch 维护了一个计数器,初始值为指定的数量。当一个或多个线程调用 await() 方法时,它们会被阻…

redis 配置主从复制,哨兵模式案例

哨兵(Sentinel)模式 1 . 什么是哨兵模式? 反客为主的自动版,能够自动监控master是否发生故障,如果故障了会根据投票数从slave中挑选一个 作为master,其他的slave会自动转向同步新的master,实现故障自动转义 2 . 原理…

简析新能源汽车充电桩设计与应用

叶根胜 安科瑞电气股份有限公司 上海嘉定 201801 摘要:本文针对新能源汽车充电桩建设工作进行探究,采用案例分析法、文献查阅法,指出了新能源汽车充电桩建设存在的问题,阐述了充电桩建设与优化的对策。研究表明:目前…

element-ui的日历组件el-calendar高度咋调小

最近项目首页有个空余 不知道放啥 打算放个日历card 充充位置, el-calendar日历组件的整体宽度可以用el-row el-col :gutter :span来控制自适应 但是官网文档没说高度咋缩小 细长一条好难看 自己尝试改了改element的样式没整出来 最后照着这位博主的方法改是好使滴…

软考系列(系统架构师)- 2014年系统架构师软考案例分析考点

试题一 软件架构(MYC 架构、扩展接口模式) MVC架构风格最初是Smalltalk-80中用来构建用户界面时采用的架构设计风格。其中M代表模型(Model),V代表视图(View),C代表控制器(Controller)。在该风格…

动态规划(记忆化搜索)

AcWing 901. 滑雪 给定一个 R行 C 列的矩阵,表示一个矩形网格滑雪场。 矩阵中第 i 行第 j 列的点表示滑雪场的第 i 行第 j 列区域的高度。 一个人从滑雪场中的某个区域内出发,每次可以向上下左右任意一个方向滑动一个单位距离。 当然,一个人能…

liunx Centos-7.5上 rabbitmq安装

在安装rabbitmq中需要注意: 1、rabbitmq依赖于erlang,需要先安装erlang 2、erlang和rabbitmq版本有对应关系 可参考网页:https://www.rabbitmq.com/which-erlang.html 第一步,安装编译工具及库文件,如果服务器上已经有了&…

长连接的原理

Apollo的长连接实现是 Spring的DeferredResult来实现的,先看怎么用 import ...RestController RequestMapping("deferredResult") public class DeferredResultController {private Map<String, Consumer<DeferredResultResponse>> taskMap new HashMa…

SpringBoot_minio sdk使用自签名https证书错误处理

minio sdk使用自签名https证书错误处理 1.问题描述1.1 报错日志1.2 maven 依赖配置1.3 当前spring MinioClient配置 2.问题分析3.问题解决3.1 使用受信任的证书3.2 忽略证书验证3.2.1 minio客户端3.2.2 minio sdk 忽略证书验证3.2.2.1 拓展: 补充minioclient请求日志 4. 问题总…

树形数据增删改查

功能描述&#xff1a; 默认展示所有项目点击项目展示当前项目下的所有区域点击区域展示当前区域下的所有工位以上以树形图格式展示项目&#xff0c;区域&#xff0c;和工位都可进行增加 修改 和删除&#xff0c;每个图标hover时显示对应提示信息项目&#xff0c;区域&#xff…

Spring Boot整合OAuth2实现GitHub第三方登录

Spring Boot整合OAuth2&#xff0c;实现GitHub第三方登录 1、第三方登录原理 第三方登录的原理是借助OAuth授权来实现&#xff0c;首先用户先向客户端提供第三方网站的数据证明自己的身份获取授权码&#xff0c;然后客户端拿着授权码与授权服务器建立连接获得一个Access Token…

研发效能认证学员作品:快速进行持续集成应用实践丨IDCF

作者&#xff1a;赖嘉明 研发效能&#xff08;DevOps&#xff09;工程师认证学员 随着数字化转型的推进及市场竞争的加剧&#xff0c;越来越多的企业也意识到持续集成的重要性。 而持续集成作为一种先进的软件开发实践和工具链&#xff0c;可以帮助企业实现自动化构建、集成和…

基于YOLOv8模型的烟雾目标检测系统(PyTorch+Pyside6+YOLOv8模型)

摘要&#xff1a;基于YOLOv8模型的烟雾目标检测系统可用于日常生活中检测与定位烟雾目标&#xff0c;利用深度学习算法可实现图片、视频、摄像头等方式的目标检测&#xff0c;另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…

Ubuntu22.04安装,SSH无法连接

Ubuntu初始化安装后&#xff0c;系统默认不允许root通过ssh连接&#xff0c;因此需要完成三个设置 1.修改ssh配置文件 vim /etc/ssh/sshd_config 将PermitRootLogin注释打开&#xff0c;并将值改为yes 保存修改并退出 :wq 2.重启ssh服务 sudo service ssh restart 3.重新打…

八大排序算法(C语言版)之插入排序

八大排序详解 目录&#xff1a;一、排序的概念1.1 排序的概念1.2 排序的应用 二、直接插入排序三、希尔排序四、排序算法复杂度及稳定性分析 目录&#xff1a; 八大排序算法&#xff1a; #mermaid-svg-7qCaGEYz0Jyj9dYw {font-family:"trebuchet ms",verdana,arial,…

[极客大挑战 2019]Havefun

1.打开链接 2.检查一下源代码 发现一段代码。 3.分析代码 <!-- $cat$_GET[cat]; echo $cat; if($catdog){ echo Syc{cat_cat_cat_cat}; } --> 询问ChatGPT&#xff1a; 从您提供的代码片段来看&#xff0c;这是…

Elasticsearch聚合----aggregations的简单使用

文章目录 Getting started1、搜索 address 中包含 mill 的所有人的年龄分布以及平均年龄&#xff0c;但不显示这些人的详情2、size0不展示命中记录&#xff0c;只展示聚合结果3、按照年龄聚合&#xff0c;并且请求这些年龄段的这些人的平均薪资4、查出所有年龄分布&#xff0c;…

【Android Studio】工程中文件Annotate with Git Blame 不能点击

问题描述 工程文件中想要查看代码提交信息但是相关按钮不可点击 解决方法 Android Studio -> Preferences -> Version Control-> 在Unregistered roots里找到你想要的工程文件 点击左上角➕号 然后右下角Apply即可

Filter过滤器和Listener监听器

2023.10.26 Filter过滤器 过滤器&#xff0c;顾名思义就是对事物进行过滤的。Web中的过滤器&#xff0c;就是对请求进行过滤&#xff0c;我们使用过滤器&#xff0c;就可以对请求进行拦截&#xff0c;然后做相应的处理&#xff0c;实现许多特殊功能。如登录控制&#xff0c;权…