Go并发机制
协程:一个线程可以对应多个协程,协程串行运行在用户空间。协程运行在线程之上,当一个协程执行完成后,可以选择主动让出,让另一个协程运行在当前线程之上。协程并没有增加线程数量,只是在线程的基础之上通过分时复用的方式运行多个协程,而且协程的切换在用户态完成,切换的代价比线程从用户态到内核态的代价小很多。
Go摒弃线程、进程、协程,提出goroutine:
- M(machine):一个M代表一个内核线程(与KSE一一对应)
- P(processor):一个P代表执行一个Go代码片段所必须的资源(上下文环境)
- G(goroutine):一个G代表一个Go代码片段。
一个M与一个P关联之后,就形成一个G的运行环境(内核线程+上下文环境)。M与KSE一对一,M与P总是一对一(当一个M因系统调用阻塞(运行的G进入系统调用),此时P会与M分离开来,并与新建/空闲的M关联),P与G一对多
操作 | 作用 |
---|---|
runtime/debug.SetMaxThreads | 设置M的最大数量 |
runtime.GOMAXPORCS | 设置P的最大数量(可运行G队列的数量) |
一、M、P、G
——M(Machine)
系统维护一个全局M列表(runtime.allm) 调度器维护一个空闲M列表(runtime.sched.midle)
——P(Processor)
系统维护一个全局P列表(runtime.allp) 调度器维护一个空闲P列表(runtime.sched.pidle)
每个P维护一个可运行G队列(runtime.p.runq)(队列满则会分出一半给调度器可运行G队列)与一个自由G列表(runtime.p.gfree)(已经运行完成的G,在欲启用一个go语句时,会复用该列表中的G。当P中的自由G列表元素过多或过少时,调度器的自由G列表会与其进行转移)
状态 | 说明 |
---|---|
Pidle | 当前P未与任何M存在关联 |
Prunning | 当前P正在与某个M关联 |
Psyscall | 当前P中运行的那个G正在进行系统调用 |
Pgcstop | 运行时系统需要停止调度(系统开始垃圾回收的一些步骤,会将全部P设为此状态) |
Pdead | 当前P已经不会再被使用(调整最大P数量后,多余的P会被设为此状态) |
非dead状态的P在系统欲停止调度时都会被置于Pgcstop状态。等到需要重启调度时,会被统一置于Pidle状态,即公平的接受再次调度。同时进入dead状态的P,其可运行的G与自由的G都会被转移到调度器的可运行G列表与自由G列表中。
——G(goroutine例程)
系统维护一个全局G列表(runtime.allgs)
调度器维护一个可运行G列表(runtime.sched.runqhead runtime.sched.runqtail) 一个自由G列表(runtime.sched.gfreeStack runtime.sched.gfreeNoStack)
状态 | 说明 |
---|---|
Gidle | 刚被新分配,还未初始化 |
Grunnable | 正在可运行队列中等待运行 |
Grunning | 当前G正在运行 |
Gsyscall | 当前G正在执行系统调用 |
Gwaiting | 当前G正在阻塞 |
Gdead | 当前G正在闲置 |
Gcopystack | 当前G的栈正在被移动 |
Gdead不同于Pdead,前者可以加入自由列表等待再次复用,后者只会被销毁。
二、调度器
Go调度器不是运行在某个专用内核线程中的程序,调度器会运行在几乎所有已存在的M(内核线程)中。
调度器基本数据结构:空闲M列表,空闲P列表,可运行G队列,自由G列表,此外还有几个重要字段与需要停止调度的任务(Stop the world,STW)有关。
字段名 | 数据类型 | 作用 |
---|---|---|
gcwaiting | uint32 | 是否需要因一些任务而停止调度(比如垃圾回收) |
stopwait | int32 | 需要停止但仍未停止的P数量 |
stopnote | note | 实现与stopwait相关的事件通知机制 |
在停止调度前,gcwaiting被置为1,调度任务在发现这一状态后,将当前P状态置为Pgcstop并将stopwait字段减一。当stopwait减为0时,说明所有P已置为Pgcstop,此时利用stopnote唤醒待执行的任务(比如垃圾回收),之后恢复gcwaiting为0。
字段名 | 数据类型 | 作用 |
---|---|---|
sysmonwait | unit32 | 在停止调度期间系统监控任务是否在等待 |
sysmonnote | note | 实现与sysmonwait相关的事件通知机制 |
这两个字段针对系统监测任务,即在执行需要停止调度的任务之前,也需要停止系统监测任务。系统监测程序发现所有P都已经闲置或gcwaiting不为0,会将sysmonwait置为1,并使用sysmonnote暂停自身,结束后,再恢复这两个状态。
一轮调度
在启动Go程序并完成初始化后,会启动一轮调度使得封装了main函数的G可以被调度运行,在G运行阻塞、结束、退出系统调用后都会引发一轮调度。
-
M与G的成对锁定,是为了CGO准备。即C的函数库会将数据存储于内核线程,所以为了放止数据丢失,只能在一段时期内将G与特定M进行关联。
-
当调度器为某个M1寻找到可执行G,但是检查到某个M2已经与该G锁定,则会立刻停止调度并停止M2,并将G交由M2运行(实际上是把M1的P交由M2),M1则寻找其他可执行G。——这意味着M2在运行锁定的G前,不会做其他事,即资源被浪费。
-
全力查找可运行的G:若还未找到G,则调度器会停止该M,并在以后特定时刻唤醒重新查找。还未找到可运行G的M称为自旋状态。
-
启用或停止M
(1)调度器调度一个M会预先检查其是否与某个G锁定;如果有,则会调用stoplockedm解除当前M与P的关联并将P转手,并暂停当前M的执行。
(2)调度器为M发现一个可运行的G,但是该G已经被其他M锁定。会调用startlockedm将本地M的P转手给锁定的M,并暂停本地M的运行。放入空闲M列表。
(3)调度器发现有STW任务时,会调用gcstopm停止当前M。即释放本地P(置为Pgcstop)并调用stopm。
(4)只有当有新工作,并且由空闲P时,调用startm才可以执行一个M。
操作 作用 stopm() 停止当前M的执行 gcstopm() 为STW任务让路,停止当前M,执行完毕后会被唤醒 stoplockedm() 停止已与某个G锁定的M的执行,直到这个G可运行 startlockedm(gp *g) 唤醒与gp锁定的那个M startm(p *p, spining bool) 唤醒或创建一个M去关联P并开始执行
三、其他几个要点
——g0、m0
g0:系统中每个M拥有的特殊G。g0所拥有的内存称为M的调度栈,对应于内核中线程的栈,即OS线程栈。用于执行调度、垃圾回收、栈管理等。
gsignal:系统中每个M拥有的特殊G,用来处理信号。即信号栈。
m0:Go程序的第一个内核线程runtime.g0,用于执行引导程序。
——调度器锁和原子操作
每个M都有可能执行调度任务,而这些任务可能会并发进行,所以需要在读写一些全局变量时进行调度器锁保护。比如sched.stopwait(STW任务时记录需要停止的M)、sched.nmidle(对空闲M计数)、对核心元素容器进行存取(runtime.allp, runtime.sched.runqhead)。
同时也采用原子操作保护一些变量。比如sched.spining(对自旋M计数)、sched.ngsys(对系统G计数)、切换G状态。
——调整GC
Go的GC基于CMS(Concurrent Mark-Sweep)算法。调度器会适时调度GC相关任务执行,系统监测任务也会在必要时强制执行。有三种执行模式:
- gcBackgroundMode:并发执行垃圾收集和清扫。
- gcForceMode:串行的执行垃圾收集(即执行时停止调度),并发的执行垃圾清扫。
- gcForceBlockMode:串行的执行垃圾收集和清扫。