Golang-GMP

GMP调度


golang-GMP语雀笔记整理

  • GMP调度
    • 设计目的,为何设计GMP?
    • GMP的底层实现
      • 几个核心数据结构
      • GMP调度流程

设计目的,为何设计GMP?

无论是多进程、多线程目的都是为了并发提高cpu的利用率,但多进程、多线程都存在局限性。比如多进程通过时间轮片等调度方式实现宏观上并发,但进程间资源独立,切换开销大,多线程虽然共享内存不需要内存页表的切换,但还是涉及到用户态、内核态的切换,权级的切换开销是最大的。 所以多进程,多线程存在切换开销大、高内存占用的问题; 想进一步提高cpu的高利用率,需要避免内核介入,权级的切换,所以协程就是这样实现的,它相当于用户态的线程,操作都在用户态下进行,对内核透明更加轻量。 协程与线程 为 M:1 的关系,M:1存在问题M个协程在同一个线程上进行,无法实现并行。 所以问题归根起来就是:实现一个好的调度器,能很好的处理M个协程映射到N个线程上。golang通过GMP模型实现这种调度。

GMP的底层实现

几个核心数据结构

G是golang对协程的抽象,如下图:核心字段gobuf是g的运行信息(gobuf的运行信息能保障这个goroutine由于系统调用之外的其他调度而暂停时,下次调度到的时候能恢复执行,里面存了包括堆栈指针SP等信息), *m是运行当前g的m(动态绑定的)。 g的状态:waiting、runable、running、dead等
G要绑定到P上才能执行,在G的视角里P是CPU;
image.png
M是golang对线程的抽象,M不直接执行G,而是由P作为代理,M无需跟G绑定,也无需记录G的状态信息,因此G在生命周期中可以跨线程M执行;在m结构体中有一个g0调度协程,执行g之间的切换调度,不执行用户函数,与M为1:1;TLS中保存当前执行g的信息,这个信息保存能保证M在唤醒的时候能执行休眠之前的goroutine(当然,如果M跟着G一起休眠,大概率是因为G由于系统调用而阻塞,G的其他的3种调度类型比如主动调度、被动调度、正常调度都在用户态下,并不会导致M休眠)
image.png

P是golang的调度器,对G来说P是CPU,对M来说P是代理,为M提供可执行的G;数据结构主要是一个256长度的P本地队列,队头指针,队尾指针,以及一个runnext指针,这个指针指向下一个可执行的goroutine(这个指针在维护局部性的时候有用到)
image.png

schedt全局队列
全局任务队列加锁,记录长度
image.png

GMP调度流程

GMP调度流程主要体现在g0gg0的循环中

  1. g0执行schedule()函数寻找可执行的g;

  2. g0执行execute()函数,更新g的状态信息,调用gogo()方法,将执行权交给g

  3. g因为4种调度方式调用m_call函数,把执行权重新交给g0;

  4. g0重新schedule()寻找可执行的g;

  5. g0调用schedule()寻找可执行g的细节:调用了findRunable()方法,在这个方法中,每寻找61次g都会在全局队列中取一个g(防止全局队列中的G饿死),否则就正常从p的本地队列中取,如果本地队列空了,就加锁到全局队列中取,全局队列也没有就通过workstrealing机制去其他P中尝试获取一半,这个过程是4次尝试,并且通过随机因子寻找P,一定程度上保证了公平性,窃取完后会调整目标P的队首指针;

  6. 更新g的状态信息,比如修改g的m为当前m,而后g获得执行权,开始执行任务

  7. g执行任务时,有4中调度方式会导致执行权回到g0的手里,主动调度(用户调用shced方法)、被动调度(不满足执行条件,比如管道阻塞、没有获得锁等,调用g_park()后g进入waiting态,可通过g_read()唤醒)、正常完成(G的任务完成)、抢占调度(G发起系统调用,导致进入阻塞,这时的阻塞是进入到了内核态,因为G发起的系统调用是以M的身份发起的,此时M也是僵直的,所以g0是无法感知到的,所以抢占调度其实是需要一个监控协程来完成的,这个协程越过p直接跟M绑定。 此时阻塞的G跟M绑定,监控协程会把P抽离出来,找一个M重新跟P绑定)

所以整个流程可以描述为
image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/38227.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计网之IP

IP IP基本认识 不使用NAT时,源IP地址和目的IP地址不变,只要源MAC和目的MAC地址在变化 IP地址 D类是组播地址,E类是保留地址 无分类地址CIDR 解决直接分类的B类65536太多,C类256太少a.b.c.d/x的前x位属于网路号,剩…

Unity实现简单的MVC架构

文章目录 前言MVC基本概念示例流程图效果预览后话 前言 在Unity中,MVC(Model-View-Controller)框架是一种架构模式,用于分离游戏的逻辑、数据和用户界面。MVC模式可以帮助开发者更好地管理代码结构,提高代码的可维护性…

spring boot初始化的几个总结

spring intializr File->New->Project 注意:Spring Initializer中 Java版本选择模块已经不支持1.8了。 Spring Boot 3.x要求 Java最低版本为17, 最新的SpringBoot版本已经要求Java22了 所以,你可以升级Java版本,使用Spri…

「漏洞复现」时空智友ERP系统updater.uploadStudioFile 任意文件上传漏洞

0x01 免责声明 请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,作者不为此承担任何责任。工具来自网络,安全性自测,如有侵权请联系删…

谷歌开发者新号上架攻略:开发者实战经验分享

前段时间,不少开发者朋友们在纷纷在吐槽新账号没法上架成功。以前谷歌对新号是真的很严格,但现在情况似乎有所好转。 今天,和大家聊聊如何在新号成功上架上“快人一步”,以及怎样增加账号权重提高上架成功率。 首先,我…

Linux文件系统与设备文件

一、Linux文件操作 Linux的文件系统API主要涉及创建、打开、读写、定位、关闭文件 创建 int creat(const char *filename, mode_t mode);mode: 代表新建文件的存取权限,需要和umask相与才能确定最终权限(mode&umask)。 umask代表文件在创建时需要去掉的存取…

MySQL高级-索引-使用规则-SQL提示(use、ignore、force)

文章目录 1、查看表 tb_user2、展示索引3、为profession、age、status创建 联合索引4、查询 profession软件工程5、执行计划 profession软件工程6、创建profession单列索引7、再次执行计划 profession软件工程8、SQL提示8.1、use index(idx_user_pro)8.2、ignore index(idx_use…

最流行的文件同步软件

PanguFlow是一款免费的文件同步软件,他支持文件的全量同步、支持文件的增量同步、支持文件的实时备份,支持双向同步,支持三向同步甚至多向同步,支持无人值守运行。 PanguFlow数据同步软件下载地址https://pan.baidu.com/s/1GLjFR…

springcloud第4季 seata报could not find any implementation for class

一 问题说明 1.1 描述 在使用seata2.0alibaba-cloud 2022.0.0.0-RC2nacos 2.2.3 模拟下订单分布式事务场景,出现如下问题:java.lang.ArrayIndexOutOfBoundsException: Index 0 out of bounds for length 0 查看服务端:java.util.ServiceCo…

imx6ull/linux应用编程学习(6)jpeg和png的图片显示

1.JPEG图片显示 JPEG(Joint Photographic Experts Group)是由国际标准组织为静态图像所建立的第一个国际数字图像压缩标准,也是至今一直在使用的、应用最广的图像压缩标准。JPEG 由于可以提供有损压缩,因此压缩比可以达到其他传统…

【解释】i.MX6ULL_IO_电气属性说明

【解释】i.MX6ULL_IO_电气属性说明 文章目录 1 Hyst1.1 迟滞(Hysteresis)是什么?1.2 GPIO的Hyst. Enable Field 参数1.3 应用场景 2 Pull / Keep Select Field2.1 PUE_0_Keeper — Keeper2.2 PUE_1_Pull — Pull2.3 选择Keeper还是Pull 3 Dr…

企业化运维(6)_redis数据库

Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 redis是一个key-value存储系统。和Memcached类似&#xff0…

C#进阶-ASP.NET WebForms调用ASMX的WebService接口

ASMX 文件在 ASP.NET WebForms 中提供了创建 Web 服务的便捷方式,通过公开 Web 方法,允许远程客户端调用这些方法并获取数据。本文介绍了 ASMX 文件的基本功能、如何定义 WebService 接口、通过 HTTP 和 SOAP 请求调用 WebService 接口,以及使…

bgr24包装为bmp图像

code void BGR24ToBMP(const int width, const int height, uint8_t *framedata, const char *outfile) {BITMAPFILEHEADER bmp_header; // 声明BMP文件的头结构BITMAPINFOHEADER bmp_info; // 声明BMP文件的信息结构unsigned int data_size (width * 3 3) / 4 * 4 * heig…

[AIGC] Shell脚本在工作中的常用用法

Shell脚本是一种为 shell 编写的脚本程序。商业上的 Unix Shell 一般都配备图形界面,主要包括:Bourne Shell(/usr/bin/sh或/bin/sh)、Bourne Again Shell(/bin/bash)、C Shell(/usr/bin/csh&…

简单多状态DP问题

这里写目录标题 什么是多状态DP解决多状态DP问题应该怎么做?关于多状态DP问题的几道题1.按摩师2.打家劫舍Ⅱ3.删除并获得点数4.粉刷房子5.买卖股票的最佳时期含手冷冻期 总结 什么是多状态DP 多状态动态规划(Multi-State Dynamic Programming, Multi-St…

vue2实例实现一个初步的vue-router

vue2实例实现一个初步的vue-router 实现源码:vue2-review 1.App.vue 2.router目录下的index.js 3.自己实现的x-router.js 4.自己实现的xrouter-view.js 5.自己实现的xrouter-link.js 6.效果 微信公众号:刺头拾年

AI奥林匹克竞赛:Claude-3.5-Sonnet对决GPT-4o,谁是最聪明的AI?

目录 实验设置 评估对象 评估方法 结果与分析 针对学科的细粒度分析 GPT-4o vs. Claude-3.5-Sonnet GPT-4V vs. Gemini-1.5-Pro 结论 AI技术日新月异,Anthropic公司最新发布的Claude-3.5-Sonnet因在知识型推理、数学推理、编程任务及视觉推理等任务上设立新…

【雷达原理】雷达测角原理及实现方法

目录 一、雷达测角原理1.1 测角研究历史和现状1.2 测角方法总结1.3 3DFFT测角1.3.1 基本原理1.2.2 测角性能 二、MATLAB仿真案例参考文献 一、雷达测角原理 1.1 测角研究历史和现状 (1)早期采用窄波束对准目标,目标的角度对应于天线的角度读…

【动态规划】139. 单词拆分

139. 单词拆分 难度:中等 力扣地址:https://leetcode.cn/problems/word-break/description/ 问题描述 给你一个字符串 s 和一个字符串列表 wordDict 作为字典。如果可以利用字典中出现的一个或多个单词拼接出 s 则返回 true。 注意:不要求字…