深入浅出网络编程与Swoole内核

在阿里云PHP技术沙龙专场中,阿里云邀请到php-nsq作者,pecl、Swoole开发组成员吴振宇分享了Swoole进程模型的原理与Swoole协程实现的原理。并结合具体开发案例讲解了Swoole在网络编程中的应用。

本次直播视频精彩回顾,戳这里!
直播回顾:https://yq.aliyun.com/live/965
PPT分享:https://yq.aliyun.com/download/3528

以下内容根据演讲嘉宾视频分享以及PPT整理而成。

Socket编程

网络编程又可称为Socket编程。编程分为基于Server端开发与基于Client端开发两部分。基于Server端的编程由四大步骤组成,开发者首先创建Socket,利用bind与listen函数绑定监听地址及相应的端口,最后使用accept函数接受来自监听端的请求。Client端的操作较为简便,开发者在创建Socket后使用connect函数对服务器端进行连接即可实现。
下图所示为Client端与Server端的协作示意图。Client端首先向Server端发起带有SYN标识的握手请求,Server端接受到请求后,返回给Client端带有SYN与ACK标识的请求并将Client端中的RCVD文件加载至队列中,在三次握手完成之后,该文件描述符将被添加至accept队列中等待下一步逻辑处理。


下图所示为Socket编程的实现代码


在Socket编程中,Socket的读写状态判断十分重要。Socket可读条件分为以下四条:

  • 该套接字接收缓冲区中的数据字节数大于等于套接字接收缓存区低水位。
  • 该连接的读半部关闭(也就是接收了FIN的TCP连接)。
  • 有新链接到达可读,该套接字是一个listen的监听套接字,并且目前已经完成的连接数不为0。
  • 有一个Socket有异常错误条件待处理.对于这样的Socket读操作将不会阻塞,并且返回一个错误(-1),errno则设置成明确的错误条件。
    以上条件中,第一条件与第三条件较为重要。对于TCP和UDP套接字而言,缓冲区低水位的值默认为1,在默认情况下,缓冲区中的数据均为可读。当为Socket收到connect请求,执行了三次握手的第一步接收SYN请求后,Socket便处于可读状态。对这样的套接字进行accept操作通常不会阻塞。

对应于Socket可读条件的判断,Socket可写条件也分为以下四条:

  • 该套接字发送缓冲区中的可用空间字节数大于等于套接字发送缓存区低水位标记时,并且该套接字已经成功连接。
  • 该连接的写半部关闭。
  • 使用非阻塞的connect套接字已建立连接,或者connect已经以失败告终。
  • 有一个错误的套接字待处理。
    下图举了生活中与网络阻塞类似的生活事例来展示该过程。在用户到手机店修手机的过程中,用户在手机店不做任何事,等待老板将手机修好类似于网络同步阻塞过程;用户在店中做些其他工作,不时询问老板手机是否修好类似于同步非阻塞过程;用户回到家中,等待手机店老板修好后的电话类似于异步阻塞过程;用户回到家中做其他事情,等待老板修好后的电话类似于多路IO 复用、异步非阻塞过程。


在一款应用开发初期,应用的用户不多,服务器相对的要求同样不高,此时开发者可以使用多进程策略进行应用的开发,以此加快开发效率。下图所示为多进程同步阻塞开发的伪代码。


当业务量扩大,系统需要进行优化时,开发者可以对每个子进程中的套接字进行监听,其伪代码如下图所示。

IO复用与Reactor

当系统的用户及业务量扩大到一定规模时,开发者可以使用多路IO复用、Reactor及异步非阻塞等方法对系统进行改进。如下图所示,在这些系统调用中,Select方法存在内存开销大,支持文件描述符数量少的缺点。目前Epoll系统调用方式占据开发的主流位置,Epoll方式采用了红黑树的数据结构模式,同时拥有就绪列表rdlist,当套接字中存在可读或可写的事件时,该事件将被直接添加到就绪列表当中,从而使系统省去了轮询所有套接字属性的过程,提高了系统的执行效率。

(1)操作系统调度原理

操作系统进程调用时分为正在运行,阻塞运行及等待运行三个状态。在处理进程的过程中,内核会不断发生中断,比如三次握手过程中,当ACK发送时,内核会触发中断,系统此时需要放下正在执行的任务,去处理TCP的任务。处理完成后,系统结束中断处理并恢复运行被打断的进程。下图所示为操作系统进程调度的一些方法。


在三次握手中,系统执行以下三个步骤完成操作系统的调度:
1.网卡收到数据:网卡收到SYN消息,触发内核中断,系统将直接打断当前执行的进程,同时CPU将会把套接字加入到Socket Queue队列当中进行存储。
2.中断回调:若当前没有新的连接,accept将阻塞到系统调用上,并将套接字注册到Wait Queue上。
3.系统中断回调:当新的连接产生时,Wait Queue队列将触发回调函数,将相应数据加载至rdlist列表中。
若网卡收到ACK消息,则继续触发内核中断,内核完成标准的三次握手,将连接从半连接队列移入连接队列,于是 listen Socket有可读事件,内核调用listen Socket的Wait Queue的唤醒回调函数,将之前阻塞的accept进程置为 Ready调度状态。

(2)Epoll的在调度中的作用

Epoll主要用来监听Socket的可读可写过程,在Epoll创建时,开发者需要传对应文件描述符EPOLLIN与EPOLLOUT作为可读与可写的参数标志,epoll_wait函数拥有accept的功能,会在事件发送后提醒开发者。下图罗列了Epoll中的参数与主要方法。

 


将Socket创建与accept过程转化为Epoll的代码示意图如下所示。首先将fd作为描述符加入创建好的Epoll中,同时把开发者想要监听的可读可写事件也注册入Epoll之中。当listen fd监听到事件时,使用accept方法将该fd描述符设为可读事件,并再次将其加入到Epoll的监听数组中,此时代表真正的客户端连接已接入。

Swoole进程模型与Reactor

Reactor模型的创建与使用较为简单,其中含有以下四个方法:

  • Add方法:添加一个Socket到Reactor之中。
  • Set方法:修改Socket对应的事件,如可读可写事件等。
  • Del方法:从Reactor中移除相应的对象。
  • Callback方法:事件发生后回调指定的函数方法。
    Swoole目前使用较多的模式为单线程模式与进程模式。在单线程模式中,系统使用Worker监听accept与链接,当Worker挂掉后会对系统产生一些影响。进程模式的Swoole解决了这些问题。下图为两种模式的详细对比。


在进程模式中,系统采用MainReactor线程监听accept,线程将出现的问题抛给Worker进程进行处理,这样即使单个Worker进程挂掉也不会对系统产生任何的影响。下图所示为进程模式的系统结构示意图。

下图展示了对Swoole模式的调用代码示意。在用户使用客户端去连接服务器的过程中,系统首先注册可读可写与超时三个状态回调函数。客户端与服务器连接成功时,套接字变为可写状态,系统调用可写状态的回调函数,在回调函数中处理相关的数据。

Swoole协程实现原理

Swoole协程是由事件驱动与栈切换两步共同实现完成的。
在C语言环境中,事件的调用往往使用堆栈进行处理。在堆栈中,指针EBP指向堆栈栈底,指针ESP指向堆栈栈顶,在函数调用之后,每个EBP的返回值会返回上一个EBP的地址。以此来进行事件调用的检索。下图所示为C语言中的事件调用示意图。


在PHP中的函数调用步骤如下图所示。PHP首先通过词法分析与语法分析将代码编译成语法树,语法树中的每一个语法会被编译入opcode,语法中的每一个函数会以oparray的形式存入结构体EG中,EG结构体使用函数表对这些函数进行存储。

当函数调用时,结构体中的call对应指针ESP,prev对应于指针EBP。当用户调取函数时,系统会向zend VM中为每一个方法申请一个堆栈的内存。当系统中一个函数调用其他函数时,会调用code下方储存的地址,调用方法的opcode从function存储的成员中找到并进行编译与执行。当触发了opcode后,系统会申请一个新的内存来进行新的内存分配。下图为PHP调用示意图。


下图所示为在PHP函数调用中压栈的过程及函数中存在的opcode。FCALL与DO_FCALL负责函数的调用,当堆栈中第一个opcode执行时,将进行参数压栈的操作。触发函数调用时,将执行DO_FCALL操作,系统将会把下一个函数的调用地址压入堆栈。当调用有结果后系统会将返回值返回入CALL FRAME中。


下图所示为Swoole协程代码。协程代码包括两个执行网络IO操作的go函数,当系统执行connect操作时触发网络IO操作,并将当前的PHP调用栈先保存起来。在当前调用栈保存好后,系统顺次执行下面的函数调用。当connect遇到IO函数时,系统会跳出当前任务去执行堆栈中储存的任务。


在Swoole2.0中使用C函数进行线程任务的协程。当开发者调用setjmp时,函数的返回值为0并调起first函数。当调用longjmp时,setjmp也同样被调起,此时返回值为1。Swoole2.0利用该代码实现了PHP执行的跳转,代码示意图如下。


Swoole2.0协程时序图与代码展示如下图所示。setjump方法设置当前函数堆栈,当有网络事件产生时,系统将首先对产生的事件进行注册,并在有事件通知时跳回执行中的代码,以此完成代码协程过程。


Swoole4.0通过实现C堆栈对Swoole2.0中的问题进行了改进。在Swoole4.0中用户直接调用MySQL中的链接直接就可以形成网络协程。下图所示为Swoole4.0内核系统架构示意图。


Swoole4.0的时序调度与Swoole2.0差别不大,不同的是Swoole4.0使用汇编指令对C栈与堆栈进行了存储。在协程创建时,系统会产生C栈与PHP栈,两个堆栈间会进行通信,通过这种方法解决了C栈销毁后的一些问题。下图展现了Swoole4.0的时序图。


当系统链接数量增多后会出现一些问题,开发者通过设置心跳参数与心跳收回可以保证系统服务器的资源不会被浪费。下图列举了Swoole网络编程对系统进行优化的方式。

总结

下图为吴老师分享的内容的关键词总结。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/519066.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spark大数据分布式机器学习处理实战 | 博文精选

作者| 数挖小飞飞编辑 | Carol出品| CSDN云计算(ID:CSDNcloud)Spark是一种大规模、快速计算的集群平台,本文试图通过学习Spark官网的实战演练笔记提升作者实操能力以及展现Spark的精彩之处。本文的参考配置为:Deepin 1…

五四,阿里巴巴新青年了解下?

今天,橙子挖掘了几位程序员小哥的故事,他们是淘宝技术节上涌现出的“高手”。为了追求极致,代码也能成为一种艺术,看完之后也许你会对技术人有完全不同的认识。 1 伯灵:“技术作品代表我对技术的态度:解决…

多场景下的AI疫情防控“天网”:解读云边端联动下的全栈 AI 技术

在全民抗疫的特殊时期下,伴随着春运返潮,企业陆续复工,从重点防控的机场、火车站,到学校、企业、社区等密集型场所,都是不能忽视的地点。除了人工逐一测量体温排查外,我们还发现,在人员复杂、流…

Twitter 宣布抛弃 Mesos,全面转向Kubernetes

美国西部时间 5 月 2 日下午 7 点,Twitter 公司在旧金山总部举行了一次技术发布会兼 Meetup。会上,Twitter 计算平台(Twitter Computing Platform)产品与技术负责人 David McLaughlin 正式宣布,Twitter 的基础而设施将…

Guns整合log4j2

文章目录一、排除内置logback1. 删除logback.xml2. 排除内置的logback二、整合log4j22.1. 依赖log4j22.2. 配置文件中配置2.3. log4j2日志文件2.4. 效果图2.5. 输出要素Sringboot 开源框架默认logback日志框架,Guns开源项目也是用logback日志框架 一、排除内置logba…

蚂蚁金服生产级 Raft 算法库存储模块剖析 | SOFAJRaft 实现原理

前言 SOFAJRaft 是一个基于 Raft 一致性算法的生产级高性能 Java 实现,支持 MULTI-RAFT-GROUP,适用于高负载低延迟的场景。 SOFAJRaft 存储模块分为: Log 存储记录 Raft 配置变更和用户提交任务日志;Meta 存储即元信息存储记录…

android studio 调用c++,android studio配置opencv,调用c++,处理图像

一、下载安卓的opencv sdk这里下载release版的,下载后解压二、新建工程三、编写界面布局(工程等下上传到github)四、添加Module,Android Studio菜单-->File-->New-->Import Module添加完成五、加入依赖此时Sync报错,需要修改文件修改…

Guns mybatisplus只输出sql不输出结果集

文章目录1. yml配置2. 效果图今天给大家讲一下在数据量特别大的场景下,Guns开源项目怎样实现只输出sql不输出结果集列表。 1. yml配置 mybatis-plus:typeAliasesPackage: cn.stylefeng.guns.modular.system.modelmapper-locations:- classpath*:cn/stylefeng/guns/…

AWS还是Firebase?在移动应用后端应该使用哪个?

作者| Dhananjay Trivedi翻译 | 天道酬勤,编辑 | Carol出品| CSDN云计算(ID:CSDNcloud)我们将按以下顺序比较这两种服务:它们有什么共同点?如何将它们与你的前端集成?它们的优势。它们的价格。创…

对话鲁直:蚂蚁金服中间件的开源头羊 | 穿山甲专访

谈话中,鲁直反问的“你为什么不开源?”这句话让我印象深刻。-- 老王 二月初春,在西子湖畔的细雨中,我拜访了蚂蚁金服中间件团队,和 SOFA 技术负责人鲁直做了一次深入交谈,更妙的是,鲁直也是负责…

与时间赛跑:微盟的数据恢复为什么需要这么长时间

作者| 茹炳晟责编 | Carol出品| CSDN云计算(ID:CSDNcloud)微盟“删库跑路“事件已经过去好几天了,据悉,微盟的服务已经全部恢复,对于新用户,已经能够正常开始所有相关的业务活动了,但…

阿里开发者招聘节 | 面试题08:NAS(Network Attached Storage)协议NFS和SMB相关问题

为帮助开发者们提升面试技能、有机会入职阿里,云栖社区特别制作了这个专辑——阿里巴巴资深技术专家们结合多年的工作、面试经验总结提炼而成的面试真题这一次将陆续放出(面试题官方参考答案将在专辑结束后统一汇总分享,点此进入答题并围观他…

android studio n3710,英特尔奔腾N3710性能跑分和评测 | ZMMOO

英特尔奔腾N3710 是针对入门级笔记本电脑,它的频率为1.1- 2.56 GHz。由于采用三栅极晶体管的新型14纳米低功耗工艺(P1273),与其前代Bay Trail(例如奔腾 N3520)相比,能效得到了显着提升 。除了CPU内核之外,SoC还提供支持DirectX 11…

淘宝千万级并发架构的十四次演进

责编 | Carol来源 | 架构师技术联盟概述本文以淘宝作为例子,介绍从一百个到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原…

linux 15秒 搭建VSFTPD文件服务器

文章目录1. 在线安装2. 创建用户3. 限制用户活动范围4. 添加用户管制5. 关闭匿名访问6. 编辑一个安全文件7. 重新启动vsftpd8. 客户端测试9. 本机测试10. 再次本机测试1. 在线安装 yum install vsftpd2. 创建用户 useradd ftpuser passwd ftpuser3. 限制用户活动范围 vim vs…

阿里开源!轻量级深度学习端侧推理引擎 MNN

AI科学家贾扬清如此评价道:“与 Tensorflow、Caffe2 等同时覆盖训练和推理的通用框架相比,MNN 更注重在推理时的加速和优化,解决在模型部署的阶段的效率问题,从而在移动端更高效地实现模型背后的业务。这和服务器端 TensorRT 等推…

冰雪复古鸿蒙碎片哪里出,冰雪复古:玩法攻略,如何高爆率搞回收!

原标题:冰雪复古:玩法攻略,如何高爆率搞回收!冰冻传说这个手游游戏刚内部测试的时候我就开始玩这个游戏了,第一方面这个游戏全部的装备都是靠打野怪获取的,这点很符合我的喜好,现在分享一些在个…

与时间赛跑:微盟的数据恢复为什么需要这么长时间?

作者| 茹炳晟 责编 | Carol 出品| CSDN云计算(ID:CSDNcloud) 微盟“删库跑路“事件已经过去好几天了,据悉,微盟的服务已经全部恢复,对于新用户,已经能够正常开始所有相关的业务活动了&#x…

X-Pack Spark归档POLARDB数据做分析

简介 POLARDB数据库是阿里云自研的下一代关系型云数据库,100%兼容MySQL,性能最高是MySQL的6倍,但是随着数据量不断增大,面临着单条SQL无法分析出结果的现状。X-Pack Spark为数据库提供分析引擎,旨在打造数据库闭环&am…

阿里云Kubernetes服务上使用Tekton完成应用发布初体验

Tekton 是一个功能强大且灵活的 Kubernetes 原生开源框架,用于创建持续集成和交付(CI/CD)系统。通过抽象底层实现细节,用户可以跨多云平台和本地系统进行构建、测试和部署。 本文是基于阿里云Kubernetes服务部署Tekton Pipeline&…