Netty前置基础知识之BIO、NIO以及AIO理论详细解析和实战案例

前言

Netty是什么？

Netty 是一个基于 Java 的 ​高性能异步事件驱动网络应用框架，主要用于快速开发可维护的协议服务器和客户端。它简化了网络编程的复杂性，特别适合构建需要处理海量并发连接、低延迟和高吞吐量的分布式系统。

1)Netty 是由JBOSS提供的一个 Java开源框架，现为 Github上的独立项目。

2)Netty 是一个异步的、基于事件驱动的网络应用框架，用以快速开发高性能、高可靠性的网络 IO程序。

3)Netty主要针对在TCP协议下，面向Clients端的高并发应用，或者Peer-to-Peer场景下的大量数据持续传输的应用。

4)Netty本质是一个NIO框架，适用于服务器通讯相关的多种应用场景要透彻理解Netty ， 需要先学习 NIO， 这样我们才能阅读 Netty 的源码5)

Netty的实现底层逻辑如下图所示，其中底层通信协议为TCP/IP，其中JVM层主要使用到的是java的IO编程。
在这里插入图片描述

Netty的应用场景

Netty 是一个高性能、异步事件驱动的网络框架，凭借其灵活性和高效性，被广泛应用于多种需要处理高并发、低延迟网络通信的场景。以下是 Netty 的典型应用场景及实际案例：

1. RPC 框架（远程过程调用）

Netty 是构建 RPC 框架的核心底层组件，用于实现服务间的高效通信。

  • 特点：支持自定义协议、序列化、长连接复用，满足微服务间高性能通信需求。
  • 典型案例：
    • Apache Dubbo：国内广泛使用的 RPC 框架，基于 Netty 实现服务间的异步通信。
    • gRPC-Java：Google 的 gRPC 在 Java 生态中默认使用 Netty 作为传输层。
    • Elasticsearch：节点间通信和客户端 SDK 使用 Netty 处理分布式请求。

2. 消息队列（Message Queue）

Netty 用于消息代理（Broker）与生产/消费者之间的高效数据传输。

  • 特点：支持海量连接、低延迟消息投递，适合实时消息系统。
  • 典型案例：
    • Kafka：Broker 与客户端（Producer/Consumer）的通信基于 Netty。
    • RocketMQ：NameServer 和 Broker 之间的通信依赖 Netty。
    • Pulsar：通过 Netty 实现多协议支持（如 MQTT、WebSocket）。

3. API 网关与 Web 服务

Netty 可构建高性能的 API 网关，处理 HTTP/WebSocket 等协议的高并发请求。

  • 特点：支持动态路由、负载均衡、SSL 卸载，适合入口流量转发。
  • 典型案例：
    • Spring Cloud Gateway：可通过 Netty 实现异步非阻塞的网关逻辑。
    • Netflix Zuul 2.x：基于 Netty 实现异步处理，提升吞吐量。
    • 自研网关：如电商平台的统一接入层，处理千万级 QPS 的 HTTP 请求。

4. 物联网（IoT）与长连接服务

Netty 擅长管理海量设备长连接，支持低功耗协议（如 MQTT、CoAP）。

  • 特点：心跳保活、二进制协议优化、资源占用低。
  • 典型案例：
    • 智能家居：设备通过 MQTT 协议上报数据，Netty 处理百万级并发连接。
    • 车联网（IoV）：车辆与云端通信，支持 TCP/UDP 双协议。
    • 工业物联网：PLC 设备监控，实时传输传感器数据。

5. 实时通信系统

Netty 支持 WebSocket、UDP 等协议，适用于即时聊天、音视频传输等场景。

  • 特点：低延迟、高吞吐，支持自定义编解码。
  • 典型案例：
    • 即时通讯（IM）：如企业微信、钉钉的消息推送服务。
    • 在线游戏：MMORPG 的实时交互（如技能释放、位置同步）。
    • 直播弹幕：通过 WebSocket 实现实时弹幕互动。

6. 金融交易系统

金融领域对低延迟、高可靠性要求极高，Netty 是关键基础设施。

  • 特点：零拷贝、线程模型可控，支持毫秒级交易处理。
  • 典型案例：
    • 证券交易系统：股票行情推送、订单撮合引擎。
    • 支付系统：支付宝/微信支付的异步通知处理。
    • 风控系统：实时分析用户行为，触发风控规则。

7. 文件传输与流媒体

Netty 支持大文件分片传输、流媒体推送（如 HLS、RTMP）。

  • 特点：内存零拷贝、动态流控，避免 OOM。
  • 典型案例：
    • 视频直播平台：通过 RTMP 协议传输音视频流。
    • 云存储服务：大文件断点续传（如阿里云 OSS）。
    • P2P 文件分发：BitTorrent 协议的服务器端实现。

8. 协议转换与网关

Netty 可实现跨协议适配，如 HTTP 到 TCP、MQTT 到 WebSocket 的转换。

  • 典型案例：
    • 工业协议网关：将 Modbus、OPC UA 等工业协议转换为 RESTful API。
    • 车联网协议适配：将车辆 CAN 总线数据转发到云端。

Netty 的适用场景总结

场景Netty 的优势
高并发连接单机支持百万级长连接，内存占用低。
低延迟通信异步非阻塞模型，减少线程切换开销。
自定义协议灵活的 Pipeline 机制，轻松实现私有协议编解码。
跨语言互通支持 HTTP/2、gRPC、WebSocket 等标准协议，兼容多语言服务。
资源可控性可配置 EventLoopGroup 和线程模型，避免资源竞争。

何时选择 Netty？

  • 适合：需要处理海量连接、低延迟、高吞吐的场景（如物联网、金融交易）。
  • 不适合：简单 HTTP 服务（可直接用 Tomcat/Spring WebFlux）、非网络密集型应用。

Netty 的灵活性和性能使其成为构建现代分布式系统的“网络层瑞士军刀”。如果需要进一步了解如何基于 Netty 实现某个场景（如 IoT 长连接），可以继续提问！

三、IO模型介绍与总结

I/O 模型是操作系统处理输入输出操作的机制，直接影响应用程序的性能和并发能力。常见的 I/O 模型包括 BIO（同步阻塞）、NIO（同步非阻塞）和 AIO（异步非阻塞）。以下是它们的详细对比和应用场景分析：

1. BIO（Blocking I/O）同步阻塞模型

BIO的网络模型如下所示：
在这里插入图片描述

工作原理
  • 同步：应用程序主动发起 I/O 操作，必须等待数据准备好并传输完成。
  • 阻塞：线程在等待 I/O 完成期间会被挂起，无法执行其他任务。
流程
客户端请求 → 服务端线程被阻塞，等待数据到达 → 数据到达后，线程读取并处理 → 返回响应。
BIO编程简单流程

1）服务器端启动一个ServerSocket
2)客户端启动Socket对服务器进行通信，默认情况下服务器端需要对每个客户 建立一个线程与之通讯
3)客户端发出请求后,先咨询服务器是否有线程响应，如果没有则会等待，或者被拒绝
4)如果有响应，客户端线程会等待请求结束后，在继续执行。
源码如下所示：

如果是mac系统需要安装，telnet工具。telnet安装如下：

brew install telnet

package bio;import java.io.IOException;
import java.io.InputStream;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;public class BIOService {public static void main(String[] args) throws IOException {// 线程池机制// 1.创建线程池// 2.如果有客户端连接，就创建一个线程与之通信（单独写一个方法）ExecutorService executor = Executors.newCachedThreadPool();ServerSocket serverSocket = new ServerSocket(6666);System.out.println("Listening on port 6666");while (true) {// 监听final Socket socket = serverSocket.accept();executor.execute(new Runnable() {public void run() {// 可以和客户端通信handler(socket);}});}}//编写一个handler方法public static void handler(Socket socket) {byte[] bytes = new byte[1024];// 通过管道获取输入流try {InputStream inputStream = socket.getInputStream();// 循环读取客户端发送的数据while (true) {int read = inputStream.read(bytes);if (read != -1) {// 输出客户端发送的数据System.out.println(new String(bytes, 0, read));}else {break;}}} catch (IOException e) {throw new RuntimeException(e);}finally {System.out.println("Read bytes from socket");try {socket.close();} catch (IOException e) {throw new RuntimeException(e);}}}
}

执行上述代码后，等于开启一个服务端等待连接，然后客户端连接的话需要执行下面的命令：

telnet host[服务端地址] port[服务端端口]
特点
  • 优点：编程简单，适合连接数少且稳定的场景。
  • 缺点：线程资源消耗大，高并发时性能急剧下降（例如：每连接一个线程）。
典型应用
  • 传统数据库连接（如 JDBC）。
  • 低并发 HTTP 服务器。

2. NIO（Non-blocking I/O）同步非阻塞模型

NIO视为网络模型如下所示，Selector可看作是一个多路复用器，模型中的通道（或者连接）是通过多路复用器维护的。Selector不断的轮询每个连接。Selector是一个线程连接的，所以一个线程管理多个连接。一个线程对应可以Selector，所以可以线程对应多个channel。一个Channel对应一个Buffer。
在这里插入图片描述

核心组件
  • Channel：双向通信管道（类似流，但可读写同时进行）。
    Channel是双向的，
  • Buffer：数据容器，所有操作基于缓冲区。
  • Selector：多路复用器，监听多个 Channel 的事件（如连接、读、写）。一个线程对应多个channel(连接Selector 对对应一个线程，
工作原理
  • 非阻塞：线程发起 I/O 操作后，立即返回，无需等待。
  • 事件驱动：通过 Selector 轮询就绪的 Channel，集中处理活跃连接。
流程
1. 线程注册 Channel 到 Selector，监听感兴趣的事件（如读、写）。
2. Selector 轮询就绪的 Channel，返回就绪事件列表。
3. 线程处理就绪事件（如读取数据到 Buffer，或写入数据）。
特点
  • 优点：单线程可管理大量连接（高并发），资源利用率高。
  • 缺点：编程复杂度高，需手动处理缓冲区和事件分发。
典型应用
  • Netty、Redis、Kafka 等高性能框架。
  • 聊天服务器、API 网关。

3. AIO（Asynchronous I/O）异步非阻塞模型

工作原理
  • 异步：应用程序发起 I/O 操作后，立即返回，无需等待。
  • 回调机制：I/O 操作完成后，系统主动通知应用程序。
流程
1. 应用程序发起异步 I/O 请求，线程立即继续执行其他任务。
2. 操作系统完成 I/O 后，通过回调函数或 Future 对象通知应用。
特点
  • 优点：真正的异步，线程完全解放，适合长耗时操作。
  • 缺点：编程复杂度高，操作系统支持有限（如 Linux AIO 不够成熟）。
典型应用
  • 文件读写（如 Java 7+ 的 AsynchronousFileChannel）。
  • 数据库驱动（如某些 NoSQL 的异步客户端）。

三者的核心区别

特性BIONIOAIO
同步/异步同步同步异步
阻塞/非阻塞阻塞非阻塞非阻塞
线程模型一连接一线程少量线程管理多连接回调机制，线程不等待
资源消耗高低中
适用场景低并发、稳定连接高并发、短连接长耗时操作（如文件 I/O）

同步 vs 异步

  • 同步：应用主动发起 I/O 操作，需等待结果（如打电话）。
  • 异步：应用发起 I/O 操作后，由系统通知结果（如发邮件）。

阻塞 vs 非阻塞

  • 阻塞：线程在等待 I/O 完成期间无法做其他事情（如等待水烧开时干等）。
  • 非阻塞：线程在等待 I/O 时可处理其他任务（如烧水时洗菜）。

—### 实际应用选择

  1. BIO：适合连接数少且稳定的场景（如传统企业应用）。
  2. NIO：适合高并发、短连接场景（如即时通讯、API 网关）。
  3. AIO：适合长耗时操作且需要完全异步的场景（如大文件处理）。

本章小结

  • NIO 是当前主流：通过事件驱动和多路复用，解决了 BIO 的高并发瓶颈（如 Netty）。
  • AIO 实际应用较少：因操作系统支持和编程复杂度限制，多数场景下 NIO + 多线程模型更高效。
  • 选择依据：根据并发量、I/O 类型（长/短连接）、编程成本综合权衡。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/76999.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

TIM输入捕获知识部分

TIM输入捕获知识部分

越往左，频率越高；越往右，频率越低。【越紧凑，相同时间，次数越多】 计算频率的方法：测评法、测周法、中界频率。 频率的定义：1s内出现了多少个重复的周期 测评法就是从频率的定义出发的&#…
阅读更多...
4.4 记忆机制与上下文管理：短期与长期记忆的设计与应用

4.4 记忆机制与上下文管理：短期与长期记忆的设计与应用

记忆机制与上下文管理已成为智能代理（Agent）系统实现高效、智能化行为的核心技术。记忆机制通过短期记忆（Short-Term Memory, STM）和长期记忆（Long-Term Memory, LTM）支持Agent存储、检索和利用信息&#x…
阅读更多...
深入了解递归、堆与栈：C#中的内存管理与函数调用

深入了解递归、堆与栈：C#中的内存管理与函数调用

在编程中，理解如何有效地管理内存以及如何控制程序的执行流程是每个开发者必须掌握的基本概念。C#作为一种高级编程语言，其内存管理和函数调用机制包括递归、堆与栈。本文将详细讲解这三者的工作原理、用途以及它们在C#中的实现和应用。 1. 递归 (Recur…
阅读更多...
leetcode day 35 01背包问题 416+1049

leetcode day 35 01背包问题 416+1049

0-1背包问题 &#xff08;1&#xff09;第一种情况&#xff1a;二维dp[i][j]数组 dp[i][j]表示[0,i]的物品放入容量为j背包的最大价值 不放物品i,dp[i][j]dp[i-1][j] 放物品i,dp[i][j]dp[i-1][j-w[i]]v[i] 递推公式为&#xff1a; dp[i][j]dp[i-1][j];//不放 if(w[i]<j)dp…
阅读更多...
算法时代的“摩西十诫”：AI治理平台重构数字戒律

算法时代的“摩西十诫”：AI治理平台重构数字戒律

一、引言 数字时代的狂飙突进中&#xff0c;人工智能&#xff08;AI&#xff09;正以颠覆性的力量重塑人类社会。从医疗诊断到金融决策&#xff0c;从智能制造到舆论传播&#xff0c;AI的触角已延伸至每个角落。 然而&#xff0c;斯坦福大学《2024年人工智能指数报告》揭示的…
阅读更多...
上岸率85%+，25西电先进材料与纳米科技学院（考研录取情况）

上岸率85%+，25西电先进材料与纳米科技学院（考研录取情况）

1、先进材料与纳米科技学院各个方向 2、先进材料与纳米科技学院近三年复试分数线对比 学长、学姐分析 由表可看出&#xff1a; 1、材料科学与工程25年相较于24年上升10分&#xff0c;为290分 2、材料与化工&#xff08;专硕&#xff09;25年相较于24年下降20分&#xff0c;为…
阅读更多...
Tomcat Web应用（Ubuntu 18.04.6 LTS）部署笔记

Tomcat Web应用（Ubuntu 18.04.6 LTS）部署笔记

一、前言 本文与【MySQL 8&#xff08;Ubuntu 18.04.6 LTS&#xff09;安装笔记】和【JDK&#xff08;Ubuntu 18.04.6 LTS&#xff09;安装笔记】同批次&#xff1a;先搭建数据库&#xff0c;再安装JVM&#xff0c;后面就是部署Web应用&#xff1a;典型的单机部署。   本着善…
阅读更多...
Datawhale AI春训营——用AI帮助老人点餐

Datawhale AI春训营——用AI帮助老人点餐

详细内容见官网链接&#xff1a;用AI帮助老人点餐-活动详情 | Datawhale
阅读更多...
17.第二阶段x64游戏实战-人工遍历二叉树结构

17.第二阶段x64游戏实战-人工遍历二叉树结构

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 本次游戏没法给 内容参考于&#xff1a;微尘网络安全 上一个内容&#xff1a;16.第二阶段x64游戏实战-分析二叉树结构 上一个内容里把二叉树的结构写了写&am…
阅读更多...
Oracle 11g RAC ASM磁盘组剔盘、加盘实施过程

Oracle 11g RAC ASM磁盘组剔盘、加盘实施过程

环境&#xff1a;AIX6.1 Oracle RAC 11.2.0.3 前期准备&#xff1a; 1.查看DG磁盘组空间情况&#xff1a; –查看DG磁盘组空间情况&#xff1a; ASMCMD> lsdg State Type Rebal Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Of…
阅读更多...
Java—— 正则表达式 方法及捕获分组

Java—— 正则表达式 方法及捕获分组

识别正则表达式的方法 方法名说明public String[] matches(String regex) 判断字符串是否满足 正则表达式的规则 public string replaceAll(String regex,string newstr) 按照正则表达式的 规则进行替换 public string[] split(String regex) 按照正则表达式的 规则切割字符串…
阅读更多...
达梦并行收集统计信息

达梦并行收集统计信息

达梦收集统计信息速度如何&#xff1f; 答&#xff1a;1分钟1G 大库收集起来可能比较慢&#xff0c;想并行收集需要一些条件 3个参数先了解一下 我把max_parallel_degree改为16 相关说明可以看一下 对一个3G的表收集 收集方法 DBMS_STATS.GATHER_TABLE_STATS( TEST,T1,…
阅读更多...
PyTorch 实战：Transformer 模型搭建全解析

PyTorch 实战：Transformer 模型搭建全解析

Transformer 作为一种强大的序列到序列模型&#xff0c;凭借自注意力机制在诸多领域大放异彩。它能并行处理序列&#xff0c;有效捕捉上下文关系&#xff0c;其架构包含编码器与解码器&#xff0c;各由多层组件构成&#xff0c;涉及自注意力、前馈神经网络、归一化和 Dropout 等…
阅读更多...
网页不同渲染方式的应对与反爬机制的处理——python爬虫

网页不同渲染方式的应对与反爬机制的处理——python爬虫

文章目录 写在前面爬虫习惯web 网页渲染方式服务器渲染客户端渲染 反爬机制使用session对象使用cookie让请求头信息更丰富使用代理和随机延迟 写在前面 本文是对前两篇文章所介绍的内容的补充&#xff0c;在了解前两篇文章——《爬虫入门与requests库的使用》和《BeautifulSou…
阅读更多...
RK3588平台用v4l工具调试USB摄像头实践（亮度，饱和度，对比度，色相等）

RK3588平台用v4l工具调试USB摄像头实践（亮度，饱和度，对比度，色相等）

目录 前言:v4l-utils简介 一&#xff1a;查找当前的摄像头设备 二&#xff1a;查看当前摄像头支持的v4l2-ctl调试参数 三根据提示设置对应参数&#xff0c;在提示范围内设置 四&#xff1a;常用调试命令 五:应用内执行命令方法 前言:v4l-utils简介 v4l-utils工具是由Linu…
阅读更多...
Spring Security基础入门

Spring Security基础入门

本入门案例主要演示Spring Security在Spring Boot中的安全管理效果。为了更好地使用Spring Boot整合实现Spring Security安全管理功能&#xff0c;体现案例中Authentication&#xff08;认证&#xff09;和Authorization&#xff08;授权&#xff09;功能的实现&#xff0c;本案…
阅读更多...
Trae+DeepSeek学习Python开发MVC框架程序笔记（二）:使用4个文件实现MVC框架

Trae+DeepSeek学习Python开发MVC框架程序笔记（二）:使用4个文件实现MVC框架

修改上节文件&#xff0c;将test2.py拆分为4个文件&#xff0c;目录结构如下&#xff1a; mvctest/ │── model.py # 数据模型 │── view.py # 视图界面 │── controller.py # 控制器 │── main.py # 程序入口其中model.py代码如下&#xff…
阅读更多...
从认证到透传：用 Nginx 为 EasySearch 构建一体化认证网关

从认证到透传：用 Nginx 为 EasySearch 构建一体化认证网关

在构建本地或云端搜索引擎系统时&#xff0c;EasySearch 凭借其轻量、高性能、易部署等优势&#xff0c;逐渐成为众多开发者和技术爱好者的首选。但在实际部署过程中&#xff0c;如何借助 Nginx 为 EasySearch 提供高效、稳定且安全的访问入口&#xff0c;尤其是在身份认证方面…
阅读更多...
CPU 虚拟化机制——受限直接执行 (LDE)

CPU 虚拟化机制——受限直接执行 (LDE)

1. 引言&#xff1a;CPU虚拟化的核心问题 让多个进程看似同时运行在一个物理CPU上。核心思想是时分共享 (time sharing) CPU。为了实现高效且可控的时分共享&#xff0c;本章介绍了一种关键机制&#xff0c;称为受限直接执行 (Limited Direct Execution, LDE)。 1.1 LDE的基本…
阅读更多...
linux 中断子系统链式中断编程

linux 中断子系统链式中断编程

直接贴代码了&#xff1a; 虚拟中断控制器代码&#xff0c;chained_virt.c #include<linux/kernel.h> #include<linux/module.h> #include<linux/clk.h> #include<linux/err.h> #include<linux/init.h> #include<linux/interrupt.h> #inc…
阅读更多...
最新文章

Copyright @ 2022~2023