Golang的Work Stealing机制

Go的运行时系统使用了一种名为Work Stealing(工作窃取)的调度策略来分配Goroutine到可用线程(称为M,即Machine)上执行。这样可以最大化CPU使用率,减少任务调度的开销。在这种机制下,任务队列和调度器通过动态平衡负载来提高并发性能和吞吐量。

Go的调度器使用了P(Processor)与M和Goroutine进行交互。每个P都维护了一个本地的Goroutine队列,新创建的Goroutine首先会被放入创建它的P的本地队列中。在这个系统中,P可以看作是可调度Goroutine的数量,每个P都可以关联一个M来执行Goroutine。

基本工作原理

  • 任务队列:每个工作线程(或goroutine)都有自己的双端队列(deque),用于存储任务。当一个线程生成新任务时,它会将任务放入自己的队列。这种队列就是上述所讲的P处理器。

  • 执行任务:M首先从自己对应P中获取任务并执行。如果它的任务队列为空,它就会尝试从其他线程的任务队列P中窃取任务。

  • 窃取任务:当一个M发现自己的任务队列P为空时,它会随机选择其他M的任务队列P,从队列的另一端窃取任务。这样可以避免竞争,因为线程对自己的任务队列使用一端,而其他线程只能从另一端窃取任务。

  • 负载均衡:通过这种机制,系统能够动态地平衡负载。如果某个线程的任务较多,其他空闲线程可以帮助处理这些任务,从而避免某些线程过载而其他线程空闲的情况。

  • 全局队列:如果所有本地队列P都为空,调度器会从全局队列中获取任务,全局队列存储的是所有P都无法处理的goroutine。

以下是一个简化的示意图,展示了P, M和Goroutine的交互:

     P1       P2       P3|        |        |v        v        v[G1,G2] [G3]   [G4,G5,G6] ^        ^        ^|        |        |M1       M2       M3

在这个图中,我们有3个P(P1、P2和P3),每个P都有一个本地的Goroutine队列。M1、M2和M3是3个线程,每个线程都关联了一个P,并且从其队列中取出Goroutine来执行。当M1完成了G1后,它会从P1的队列中取出G2来执行。如果P1的队列为空,M1就会尝试从P2或P3的队列中”窃取”一个Goroutine。

优点

  1. 高效利用资源:通过动态平衡负载,确保所有线程尽可能地保持忙碌状态,提高CPU利用率。

  2. 减少竞争:窃取任务时,只访问其他线程队列的一端,减少了竞争和锁的使用。

  3. 灵活性:能够自适应负载变化,当任务量不均时,自动进行负载均衡。

最后给大家推荐一个LinuxC/C++高级架构系统教程的学习资源与课程,可以帮助你有方向、更细致地学习C/C++后端开发,具体内容请见 https://xxetb.xetslk.com/s/1o04uB

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/35560.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

STL中的迭代器模式:将算法与数据结构分离

目录 1.概述 2.容器类 2.1.序列容器 2.2.关联容器 2.3.容器适配器 2.4.数组 3.迭代器 4.重用标准迭代器 5.总结 1.概述 在之前,我们讲了迭代器设计模式,分析了它的结构、角色以及优缺点: 设计模式之迭代器模式-CSDN博客 在 STL 中&a…

Open AI限制来袭?用上这个工具轻松破局!

【导语】近日,AI领域掀起了一场不小的波澜。Open AI宣布,从7月9日起,将对部分地区的开发者实施API调用限制。这一消息对于许多依赖Open AI技术的国内初创团队来说,无疑是一个沉重的打击。 对于这些团队而言,Open AI的A…

FITC-胰岛素的荧光特性与稳定性-星戈瑞

在生物医学研究领域,荧光标记技术是一种实验手段,能够实现对生物分子的可视化追踪和定量分析。其中,FITC-胰岛素作为一种结合了荧光素异硫氰酸酯(FITC)与胰岛素的荧光标记物,在糖尿病研究、药物开发以及细胞…

关于摄像头模组中滤光片的介绍

1、问题背景 红外截止滤光片(IR CUT Filter)是应用在摄像头模组中非常重要的一个器件,因人眼与 coms sensor 对光线各波长的响应不同, 人眼看不到红外光,但 sensor 能感应到(如下图是某sensor在各波长下的…

使用 SwiftUI 为 macOS 创建类似于 App Store Connect 的选择器

文章目录 前言创建选择器组件使用选择器组件总结前言 最近,我一直在为我的应用开发一个全新的界面,它可以让你查看 TestFlight 上所有可用的构建,并允许你将它们添加到测试群组中。 作为这项工作的一部分,我需要创建一个组件,允许用户从特定构建中添加和删除测试群组。我…

IOS Swift 从入门到精通:从 JSON 文件加载数据

文章目录 常见问题解答数据模型JSON 数据验证 JSON解码 JSON编写 FAQRow 代码添加状态栏背景模糊将内容添加到 FAQView常见问题解答数据模型 此 FAQ 模型符合Decodable,因为我们需要将 JSON 数据解码为 SwiftUI 数据。它还将符合 Identifiable ,因此我们稍后可以在 ForEach …

Flutter学习目录

学习Dart语言 官网:https://dart.cn/ 快速入门:Dart 语言开发文档(dart.cn/guides) 学习Flutter Flutter生命周期 点击跳转Flutter更换主题 点击跳转StatelessWidget和StatefulWidget的区别 点击跳转学习Flutter中新的Navigato…

transformers evaluate

☆ Evaluate https://huggingface.co/docs/evaluate/main/en/installation ★ 解决方案 常用代码 # 查看支持的评估函数 evaluate.list_evaluation_modules(include_communityTrue)# 加载评估函数 accuracy evaluate.load("accuracy")# load function descripti…

uORF调控翻译-植物综述

这篇文献《uORFs: Important Cis-Regulatory Elements in Plants》详细介绍了上游开放阅读框(uORF)在植物中的重要调控作用。以下是文献的详细总结: 核心内容总结 1. 引言 基因表达的调控涉及多个层面,包括mRNA的转录、翻译和翻…

Linux操作系统通过实战理解CPU上下文切换

前言:Linux是一个多任务的操作系统,可以支持远大于CPU数量的任务同时运行,但是我们都知道这其实是一个错觉,真正是系统在很短的时间内将CPU轮流分配给各个进程,给用户造成多任务同时运行的错觉。所以这就是有一个问题&…

个人网站搭建-步骤(持续更新)

域名申请 域名备案 域名解析 服务器购买 端口转发 Nginx要在Linux上配置Nginx进行接口转发,您可以按照以下步骤进行操作: 安装Nginx(如果尚未安装): 使用包管理工具(如apt, yum, dnf, 或zypper&#x…

高考志愿不知道怎么填?教你1招,用这款AI工具,立省4位数

高中的岁月,就像一本厚厚的书,我们一页页翻过,现在,终于翻到了最后一页。但这不是结束,这是新的开始,是人生的新篇章。 高考落幕,学子们在短暂的放松后,又迎来了紧张的志愿填报。 “…

【面试系列】最全的IT行业岗位要求及必备技能

欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏: ⭐️ 全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题. ⭐️ AIGC时代的创新与未来:详细讲解AIGC的概念、核心技术、应用领域等内容。 ⭐️ 全流程数据技术实战指南:全面…

C++版本号处理3 - 版本号比较

1. 关键词2. verutil.h3. verutil.cpp4. 测试代码5. 运行结果6. 源码地址 1. 关键词 关键词: C 版本号处理 版本号比较 跨平台 实现原理: 通过字符串分割,对每一段的版本号进行逐一比较。 应用场景: 要基于版本号做一些逻辑…

Android 自定义实现灯带跑马灯效果

public class MyMarqueeView extends View {private Paint paint;private RectF rect;private float startX, startY, endX, endY;private float currentX,currentY;/*** 灯大小*/private int radius 15;/*** 多少毫秒绘制一个圆点* 最小80*/private int time 100;/*** 绘制的…

使用bootstrap框架做一个Aotm Blog个人博客

使用bootstrap框架做一个Aotm Blog个人博客,展示一些自己的个人信息,有四个博客分类:心情记录、学习笔记、旅行相册、美食打卡。 主界面图: 心情记录界面 学习笔记界面: 旅行相册界面: 美食打卡界面&#…

深入探索:大型语言模型消除幻觉的解决之道

随着人工智能技术的飞速发展,大型语言模型(LLMs)已经成为自然语言处理领域的明星。它们以其庞大的知识库和生成连贯、上下文相关文本的能力,极大地推动了研究、工业和社会的进步。然而,这些模型在生成文本时可能会产生…

Unity保存玩家的数据到文件中(Unity的二进制序列化)

文章目录 文章运行环境什么是二进制序列化读写文件构造函数 自定义二进制序列化 文章运行环境 Unity2022 什么是二进制序列化 Unity中的二进制序列化是一种将游戏对象或数据结构转换为二进制格式的过程,以便于存储或网络传输。这使数据能够以高效的方式保存&…

liburing和Linux io_uring源码阅读

liburing 版本 系统内核版本: Linux 5.15.0-107-generic #117~20.04.1-Ubuntu x86_64 GNU/Linux 源代码版本: gitgithub.com:torvalds/linux.git v5.15 阅读入口 从最简单的代码看起,即阅读入口:examples/io_uring-test.c 此源文件内部调用liburing相关…

富唯智能推出的AMR复合机器人铝板CNC上下料方案

随着科技的不断进步,CNC加工行业正面临着前所未有的变革。传统的CNC上下料方式已无法满足现代生产对效率、精度和安全性的高要求。在这样的背景下,富唯智能推出的AMR复合机器人铝板CNC上下料方案,以其智能化、自动化的特点,引领了…