聊聊Go的三色标记法

这里是Z哥的个人公众号

每周五11:45 按时送达

当然了,也会时不时加个餐~

我的第「203」篇原创敬上

大家好,我是 Z 哥。

今天带来一篇久违的技术型文章。

之前也有不少小伙伴会问,Z 哥你好久没发技术性文章了。其实主要原因有以下几点。

第一,目前的工作偏业务以及管理,的确在技术上的精力投入不如之前那么多。这也限制了自己在纯技术性方面的知识输出。

第二,虽然自己在工作之余,也会有一部分精力专门用于技术学习,但是大多是以新技术、新框架等的了解、熟悉为主。涉及到的知识 Level 相对比较浅,就算发出来对大家的帮助也不大,就没发。

第三,从长远来看,自己也不想太把自己局限在技术的圈子里。因为在我看来,技术只是一门手艺,是吃饭的家伙,但是吃饭的家伙从来都不仅仅是技术,还有很多其它的方面。甚至其中很多事情不像具体的技术细节那样「标准化」,有很多是通过血汗积累的「非标准化」经验,我认为这些经验的价值不亚于技术知识。因此,作为有志与大家交朋友的 Z 哥,自然就不想把自己局限在「技术」这个小圈子里。

好了,回到本文的正题。最近正好在学习 Golang,对它的里面用到的三色标记法的 GC 机制有些好奇(最开始是因为名字让我联想到了三色杯冷饮~),就稍微多深入了解了一下,在这里分享出来,或许将来对你面试啥的有些帮助。

/01  判断对象存活的思路/

在 GC 领域里,判断对象存活的主流思路是两个,「引用计数」和「可达性分析」。

01  引用计数

顾名思义,引用计数的思路就是给每个对象进行计数,每被其它对象引用一次,计数就 +1,引用失效后,计数就 -1。当计数器的数值为 0,就意味着它没有被使用,可以回收。

02  可达性分析

可达性分析的思路就是通过引用链路判断对象是否可被触达,如果能触达说明该对象当前正在被使用,不可回收;反之,没有触达到的对象则认为是无使用的,可以回收。

这个引用链路的结构类似于有向有环图,但是根节点不止一个,是一个集合,称之为 GCRoots。

目前主流的 GC 机制大多用的是「可达性分析」这条路线。Go、Java、.Net等都是如此。为什么引用计数不好用呢?因为它有一个特别严重的问题:无法处理循环引用

像上图这样的情况,引用计数永远不为 0,这些对象就永远不会被回收,这会严重影响回收的效果。

但是它也并不是一无是处,它的回收实时性效果更好,可以配合「可达性分析」一起使用,发挥各自的优点,在不同的场景下使用不同的策略。

由于,「可达性分析」思路是主流,所以后续发展出来的很多回收算法都以这个思路为基础的,三色标记法就是其中之一。我们今天主要来聊聊它。

/02  三色标记法/

在讲具体原理之前先了解一个概念,「Stop The World 」,简称「STW」。

垃圾回收器的工作流程大体如下:

  1. 标记出哪些对象是存活的,哪些是可回收的。

  2. 进行回收(清除/复制/整理)。如果在回收期间有移动过的对象(复制/整理),还需要更新引用。

第一步做标记的过程又可以分成两个步骤。

  1. 标记 GC ROOT 能关联到的对象。这里会 STW。

  2. 从 GCRoots 的直接关联对象开始遍历整个对象图。这里不会STW。

垃圾回收算法主要做的就是第一步中的第二步,三色标记法也不例外,它将从GC Roots 开始遍历的对象标记为以下三种颜色:

  • 白色,初始值。本次回收没被扫描过的对象默认都是白色的。而确认不可达的对象也是白色,但是会被标记「不可达」。

  • 灰色,中间状态。本对象有被外部引用,但是本对象引用的其它对象尚未全部检测完。

  • 黑色,本对象有被其它对象引用,且已检测完本对象引用的其它对象。

其实这三种颜色是啥不重要的,重要的是它们所表达的状态,灰色的中间状态,标记过程结束后只会存在白色或者黑色。

整个过程中,这些状态是如下图这样变化的。

看似很完美的解决方案,其实也存在的一个问题:标记过程中,对象引用发生了变化。

它会导致两个问题,「多标」和「漏标」。

多标就是下图这样:

由于步骤2不会STW,所以可能存在扫描过A将它标记为黑色后,又重新引用了一个原本已经被标记为白色的D(C断开了与D的引用)。此时,D就会被回收掉,导致程序出现意料之外的bug。

「漏标」就是这样:

对象 E/F/G 是“应该”被回收的。然而因为 E 已经变为灰色了,其仍会被当作存活对象继续遍历下去。最终的结果是:这部分对象仍会被标记为存活,即本轮 GC 不会回收这部分内存。

传统的解决这两个问题的思路有两个:

  1. 在断开引用的时候做额外处理。

  2. 在「黑色」对象重新建立「白色」对象的引用时做额外处理。(回收开始后新建的对象默认为黑色)。

第一个思路专业叫法是「写屏障」,第二个是「读屏障」。其实名字就是噱头,你可以把它们俩当我们平时编程中用到的 AOP 概念来理解,在修改和读取之前做一些操作。

基于「写屏障」,可以延伸出两个方案:

  • 增量更新(Incremental Update)。针对新增的引用,将其记录下来等待重新遍历。这个操作在「修改操作后」进行,JVM 中的 CMS 垃圾回收器就是这个思路。

  • 原始快照(Snapshot At The Beginning,SATB)。当某个时刻 的 GC Roots 确定后,当时的对象图就已经确定了。如果期间发生变化,则可以记录起来,保证标记依然按照原本的视图来。这个操作在「修改操作前」进行,JVM中 的 G1 垃圾回收器用的就是这个思路。理论上,配合 「Remembered Set」,SATB 的效率是比增量更新要高的,不过会消耗更多的内存。

基于「读屏障」的方案是:在「黑色」对象重新建立「白色」对象的引用前,将这个白色对象记录下来,避免被回收掉。这个动作在「读取操作前」进行,JVM 中的 ZGC 垃圾回收器就是这个思路。

在 Golang(1.8版本之后)里,用的是一种新的机制,称之为「混合写屏障」机制。它的思路总结下来就是4句话:

  1. 将对象分为堆上的对象和栈上的对象。

  2. GC 开始将栈上的对象全部扫描并标记为黑色,无需 STW。并且之后不再进行第二次重复扫描

  3. 在 GC 期间,任何在栈上创建的新对象,均为黑色。

  4. 在 GC 期间,在堆上被删除或者添加的对象都标记为灰色。后续继续扫描。

你看,其实这些原理也没那么复杂,我相信只要你搞清楚了自己面对的是什么问题,你也能想到这些方案。

好了,总结一下。

这篇呢,Z 哥和你分享了我对 Golang 中的 GC 机制「三色标记法」的了解。

GC 的底层判断对象存活思路主要是两个,引用计数和可达性分析。由于引用计数存在循环引用问题,所以大多数 GC 都是按照后者的思路实现的,Golang 也不例外。

「三色标记法」的原理是,将对象分为了三种状态:

  • 白色,默认值。本次回收没被扫描过的对象都是白色的。确认不可达的对象也是白色,但是会被标记「不可达」。

  • 灰色,中间状态。本对象有被外部引用,但是本对象引用的其它对象尚未全部检测完。

  • 黑色,本对象有被其它对象引用,且已检测完本对象引用的其它对象。

最终将白色状态的对象回收掉。为了解决其中会存在的漏标、多标问题,它通过「混合写屏障」的机制来解决。思路是,

  1. 将对象分为堆上的对象和栈上的对象。

  2. GC 开始将栈上的对象全部扫描并标记为黑色,无需 STW。并且之后不再进行第二次重复扫描

  3. 在 GC 期间,任何在栈上创建的新对象,均为黑色。

  4. 在 GC 期间,在堆上被删除或者添加的对象都标记为灰色。后续继续扫描。

希望对你有所帮助。

推荐阅读:

  • 如何做好知识管理

  • 一些微服务拆分的浅见

原创不易,如果你觉得这篇文章还不错,就「点赞」或者「在看」一下吧,鼓励我的创作 :)

也可以分享我的公众号名片给有需要的朋友们。

如果你有关于软件架构、分布式系统、产品、运营的困惑

可以试试点击「阅读原文

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/299864.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

asp.net 日期转换

Sql Server中的日期与时间函数 1. 当前系统日期、时间 select getdate() 2. dateadd 在向指定日期加上一段时间的基础上,返回新的 datetime 值 例如:向日期加上2天 select dateadd(day,2,2004-10-15) --返回:2004-10-17 00:…

12种方法返回2个文件路径之间的公共基路径ExtractBasePath

方法一:Boris Kumpar function ExtractBasePath(const Path1,Path2:string):string; const PATH_DELIMITER \; DRIVE_DELIMITER :; var P1,P2:PChar; cnt,j:Integer; begin P1:PChar(Path1) ; P2:PChar(Path2) ; cnt : 1; j : 0; {$B-} while (P1^ <>…

架构师讲解Java中websocket的应用

这篇文章主要来介绍一下在java项目中&#xff0c;特别是java web项目中websocket的应用。 场景&#xff1a;我做了一个商城系统&#xff0c;跟大多数商城系统&#xff0c;分为客户端和后台&#xff0c;客户端供客户浏览&#xff0c;下单&#xff0c;购买&#xff0c;后台主要管…

CocoStudio游戏发布后资源加密大致实现思路

截止到目前&#xff0c;CocoStudio版本已经发展到1.3.0.1&#xff0c;各个子工具间也已经发生了巨大变化。但是&#xff0c;无论是动画编辑器&#xff0c;UI编辑器&#xff0c;场景编辑器还是数据编辑器&#xff0c;它们生成&#xff08;导出&#xff09;的文件在商业开发中往往…

当你死后尸体如何处理?两种新玩法了解一下!

全世界只有3.14 %的人关注了青少年数学之旅据国外媒体报道&#xff0c;死亡是一个庄严肃穆的事情&#xff0c;但是依据不同的文化&#xff0c;人类死亡之后会被认为肉体与灵魂分离&#xff0c;采取的葬礼方式存在很大差异&#xff0c;你想过你的葬礼会是什么样吗&#xff1f;烟…

.NET Core开发实战(定义API的最佳实践)Source Generators版

前言极客时间上的《.NET Core开发实战》是一门非常好的课程&#xff0c;作者肖伟宇在第31课&#xff08;https://time.geekbang.org/course/detail/100044601-201165&#xff09;介绍了定义API的最佳实践。大意如下&#xff1a;Controller这一层负责与前端用户的交互&#xff0…

【转】2007高校BBS上20个睿智的冷笑话

1.真正的浪漫求婚应该是这样的&#xff1a;一位风度翩翩的男子请了10位同事吃饭&#xff0c;其中就有他心仪的mm。吃到一半时&#xff0c;他忽然站起来走到mm身旁&#xff0c;然后把mm坐的椅子整个搬了个90度面朝自己&#xff0c;而此刻mm嘴里塞满了各种食物……这时&#xff0…

多年经验的程序员迷失了自己,该怎么办?

多年的程序员迷失了自己&#xff0c;该怎么办&#xff1f; 本文选自《我也能做CTO之程序员职业规划 》一书 我应该朝哪个方向发展&#xff1f;我不做这行还能做什么&#xff1f;当现实情况与理想目标之间的差距越拉越大时&#xff0c;大多数刚入行的IT人员都会提出这样的问题&a…

大神讲解Java for循环的几种用法

本文非常适合初学Java的程序员&#xff0c;主要是来了解一下Java中的几种for循环用法&#xff0c;分析得十分详细&#xff0c;一起来看看。 J2SE 1.5提供了另一种形式的for循环。借助这种形式的for循环&#xff0c;可以用更简单地方式来遍历数组和Collection等类型的对象。本文…

苍天饶过谁?| 今日最佳

全世界只有3.14 % 的人关注了青少年数学之旅&#xff08;图源人民日报&#xff0c;侵权删&#xff09;

快速选择实例

功能&#xff1a;查找集合S中第k个最小元。 快速选择算法修改自快速排序算法&#xff0c;当算法终止时&#xff0c;第k个最小元就在位置k上。这破坏了原来的排序&#xff1b;如果不希望这样&#xff0c;那么需要做一份拷贝。 快速选择函数&#xff1a; /* quick_select.h */#if…

设计模式之桥接

桥接模式的介绍桥接模式就是通过将抽象部分与实现部分分离&#xff0c;把多种可匹配的使用进行组合。其实就是在A类中含有B类接口&#xff0c;通过构造函数传递B类的实现&#xff0c;这个B类就是设计的桥。它是一种结构型设计模式&#xff0c;可将一个大类或一系列紧密相关的类…

WinAPI: midiOutGetNumDevs - 获取 MIDI 输出设备的数目

//声明: midiOutGetNumDevs: UINT; {无参数; 返回 MIDI 输出设备的数目}//举例:

去除HTML标签--SQL写法

----Author: Derry--Create date: 2009-07-27--Description: 去除HTML标签--ALTERFUNCTION[dbo].[StripAllTags]( inputVARCHAR(8000))RETURNSVARCHAR(8000)ASBEGINdeclareResultvarchar(8000), startint, endint, lenintsetinputinput<>setResult…

手把手教你用Java的swing制作计算器

其实学到Java这一块很多人会觉得很复杂实际上学会使用方法其实很简单 话不多说直接贴源码,如下&#xff1a; package cn.sjy.calculator;import javax.swing.*; import java.awt.*;/*** 简易计算器* author 石俊熠* 2020.7.13 11:24* 注&#xff1a;仿照某Java大佬的源码改之*…

你们都被电视剧版的 《西游记》给骗了!| 今日趣图

全世界只有3.14 % 的人关注了青少年数学之旅你们都被电视剧版的《西游记》给骗了&#xff01;电视剧里挑担子的是沙僧但其实《西游记》原著中大部分都是二师兄挑担子沙僧也就是打个下手&#xff08;图源名场面All&#xff0c;侵权删&#xff09;如果再有人嘲笑你胖你就把这条涨…

lua工具库penlight--08额外的库(二)

执行一系列的参数 类型说明符也可以 是 (MIN .. MAX) 的形式。 local lapp require pl.lapp local args lapp [[ Setting ranges <x> (1..10) A number from 1 to 10 <y> (-5..1e6) Bigger range ]] print(args.x,args.y) 下面的意思是大与或等于 MIN 和小于或等…

.NET 6 Preview 6 Released

宣布 .NET 6 Preview 6Richard 2021 年 7 月 14 日我们很高兴发布 .NET 6 Preview 6。Preview 6 是我们进入 RC 时期之前的倒数第二个预览版。将有两个 RC 版本。此版本本身相对较小&#xff0c;而 Preview 7 会更大一些。在那之后&#xff0c;我们将进行质量修复&#xff0c;直…

SQL2K数据库开发十五之表操作查看表中的数据

1.可以使用SELECT语句查询表中的数据。如在查询分析器中执行SELECT * FROM Products语句就可以查询Products表中的数据&#xff0c;如下图&#xff1a;2.如在企业管理器中查询表中数据&#xff0c;则要展开sample数据库&#xff0c;在Products表上右击鼠标&#xff0c;在弹出的…

转:VC6.0与VC.net的具体区别

原文&#xff1a;http://www.itzhe.cn/article/20080302/98267.html 对于VC6.0和VC.net本人有几点疑问。 1.首先&#xff0c;vc.net开发的程序是否依然需要.net框架的支持&#xff1f;是否可以独立运行&#xff1f; 2.对与VC.net开发出来的程序在运行效率上和VC6.0开发的差距…