Go 语言中的map和内存泄漏

map在内存中总是会增长;它不会收缩。因此,如果map导致了一些内存问题,你可以尝试不同的选项,比如强制 Go 重新创建map或使用指针。

在 Go 中使用map时,我们需要了解map增长和收缩的一些重要特性。让我们深入探讨这一点,以防止可能导致内存泄漏的问题。

首先,为了查看这个问题的一个具体例子,让我们设计一个场景,在这个场景中我们将使用以下map:

m := make(map[int][128]byte)

每个 m 的值都是一个包含 128 字节的数组。我们将执行以下操作:

  1. 分配一个空的map。
  2. 添加 100 万个元素。
  3. 删除所有元素,并运行垃圾回收(GC)。

在每个步骤之后,我们希望打印堆的大小(使用一个 printAlloc 实用函数)。这将展示这个示例在内存方面的行为方式:

func main() {n := 1_000_000m := make(map[int][128]byte)printAlloc()for i := 0; i < n; i++ { // Adds 1 million elementsm[i] = [128]byte{}}printAlloc()for i := 0; i < n; i++ { // Deletes 1 million elementsdelete(m, i)}runtime.GC() // Triggers a manual GCprintAlloc()runtime.KeepAlive(m) // Keeps a reference to m so that the map isn’t collected
}func printAlloc() {var m runtime.MemStatsruntime.ReadMemStats(&m)fmt.Printf("%d KB\n", m.Alloc/1024)
}

我们分配一个空的map,添加 100 万个元素,删除 100 万个元素,然后运行垃圾回收。我们还确保使用 runtime.KeepAlive 保持对map的引用,以防止map被收集。让我们运行这个示例:

0 MB   <-- After m is allocated
461 MB <-- After we add 1 million elements
293 MB <-- After we remove 1 million elements

我们观察到了什么?起初,堆大小很小。然后,在将 100 万个元素添加到map后,它显著增长了。但是,如果我们期望在删除所有元素后堆大小会减小,这并不是 Go 中map的工作方式。最后,尽管 GC 已经收集了所有元素,但堆大小仍然是 293 MB。因此,内存缩小了,但并非我们可能预期的方式。这其中的原理是什么?我们需要深入了解一下 Go 中map的工作原理。

map提供了一个无序的键值对集合,其中所有的键都是唯一的。在 Go 中,map基于哈希表数据结构:一个数组,其中每个元素都是指向键值对存储桶的指针,如图1所示。

img

图1 — 哈希表示例,重点关注存储桶 0。

每个存储桶都是一个固定大小的数组,包含八个元素。如果要将元素插入已经满了的存储桶(即存储桶溢出),Go 会创建另一个包含八个元素的存储桶,并将前一个存储桶链接到它上。图2显示了一个例子:

img

图2 — 如果存储桶溢出,Go 会分配一个新的存储桶,并将前一个存储桶链接到它上。

在底层,Go 中的map是指向 runtime.hmap 结构体的指针。该结构体包含多个字段,其中包括一个 B 字段,表示map中存储桶的数量:

type hmap struct {B uint8 // log_2 of # of buckets// (can hold up to loadFactor * 2^B items)// ...
}

在添加了100万个元素之后,B 的值等于18,这意味着有 2¹⁸ = 262,144 个存储桶。当我们删除了100万个元素后,B 的值是多少呢?仍然是18。因此,map仍然包含相同数量的存储桶。

原因在于map中存储桶的数量是不可缩减的。因此,从map中删除元素不会影响现有存储桶的数量;它只是将存储桶中的槽清零。map只能增长并拥有更多的存储桶;它永远不会缩小。

在先前的示例中,我们从461 MB减少到了293 MB,因为元素被收集,但运行垃圾回收并没有影响map本身。即使额外存储桶的数量(因为溢出而创建的存储桶)也保持不变。

让我们退一步,讨论map无法缩小的情况何时可能成为问题。想象一下使用 map[int][128]byte 来构建缓存。这个map以每个客户ID(int)为键,保存一个长度为128字节的序列。现在,假设我们想保存最近的1000位客户。map的大小将保持不变,所以我们不必担心map无法缩小的问题。

但是,假设我们想要存储一小时的数据。同时,我们的公司决定在黑色星期五进行大促销:在一个小时内,我们可能会有数百万的客户连接到我们的系统。但是在黑色星期五之后的几天,我们的map将包含与高峰期相同数量的存储桶。这就解释了为什么在这种情况下我们可能会遇到内存消耗高却不会显著减少的情况。

如果我们不想手动重启服务来清理map消耗的内存量,有哪些解决方案?一种解决方案可以是定期重新创建当前map的副本。例如,每小时我们可以构建一个新map,复制所有元素,并释放先前的map。这种选择的主要缺点是,在复制后直到下一次垃圾回收之前,我们可能会在短时间内消耗两倍于当前内存。

另一种解决方案是将map类型更改为存储数组指针:map[int]*[128]byte。这并没有解决我们会有大量存储桶的问题;然而,每个存储桶条目将为值保留指针的大小,而不是128字节(64位系统上为8字节,32位系统上为4字节)。

回到原始场景,让我们比较每种map类型在每个步骤后的内存消耗。以下表格显示了比较。

Stepmap[int][128]bytemap[int]*[128]byte
分配一个空的 map0 MB0 MB
添加100万个元素461 MB182 MB
删除所有元素并运行GC293 MB38 MB

正如我们所看到的,在删除所有元素后,使用 map[int]*[128]byte 类型所需的内存量明显较少。此外,在这种情况下,由于一些优化措施以减少内存消耗,高峰时期所需的内存量也较少显著。

注意如果键或值超过128字节,Go 将不会直接将其存储在map存储桶中。相反,Go 将存储用于引用键或值的指针。

结论

正如我们所见,向map添加 n 个元素,然后删除所有元素意味着在内存中保持相同数量的存储桶。因此,我们必须记住,由于 Go map只能增长,因此其内存消耗也会随之增加。它没有自动化的策略来缩小。如果这导致内存消耗过高,我们可以尝试不同的选项,比如强制 Go 重新创建map或使用指针来检查是否可以进行优化。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/151612.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

架构开发与优化咨询和实施服务

服务概述 得益于硬件平台算力的提升&#xff0c;汽车电子电气架构的集成度逐渐提高&#xff0c;从单体ECU、到功能域集成控制器、到区域集成控制器&#xff0c;多域融合成为了目前行业中软件工程的重要工作内容。同时&#xff0c;在传统控制器C代码开发的基础上&#xff0c;C、…

手把手从零开始训练YOLOv8改进项目(官方ultralytics版本)教程

手把手从零开始训练 YOLOv8 改进项目 (Ultralytics版本) 教程,改进 YOLOv8 算法 本文以Windows服务器为例:从零开始使用Windows训练 YOLOv8 算法项目 《芒果 YOLOv8 目标检测算法 改进》 适用于芒果专栏改进 YOLOv8 算法 文章目录 官方 YOLOv8 算法介绍改进网络代码汇总第…

ROS参数服务器(Param):通信模型、Hello World与拓展

参数服务器在ROS中主要用于实现不同节点之间的数据共享。 参数服务器相当于是独立于所有节点的一个公共容器&#xff0c;可以将数据存储在该容器中&#xff0c;被不同的节点调用&#xff0c;当然不同的节点也可以往其中存储数据。 使用场景一般存储一些机器人的固有参数&…

AIGC 技术在淘淘秀场景的探索与实践

本文介绍了AIGC相关领域的爆发式增长&#xff0c;并探讨了淘宝秀秀(AI买家秀)的设计思路和技术方案。文章涵盖了图像生成、仿真形象生成和换背景方案&#xff0c;以及模型流程串联等关键技术。 文章还介绍了淘淘秀的使用流程和遇到的问题及处理方法。最后&#xff0c;文章展望…

安全项目简介

安全项目 基线检查 密码 复杂度有效期 用户访问和身份验证 禁用administrator禁用guest认证失败锁定 安全防护软件操作系统安全配置 关闭自动播放 文件和目录权限端口限制安全审计… 等保测评 是否举办了安全意识培训是否有应急响应预案有无第一负责人 工作内容 测评准备…

【VRTK】【VR开发】【Unity】7-配置交互能力和向量追踪

【前情提要】 目前为止,我们虽然设定了手模型和动画,还能够正确根据输入触发动作,不过还未能与任何物体互动。要互动,需要给手部设定相应的Interactor能力。 【配置Interactor的抓取功能】 在Hierarchy中选中[VRTK_CAMERA_RIGS_SETUP] ➤ Camera Rigs, Tracked Alias ➤ …

Attingo:西部数据部分SSD存在硬件设计制造缺陷

今年5月&#xff0c;西部数据SanDisk Extreme Pro硬盘陆续有用户反馈有故障发生&#xff0c;用户反馈最多的问题是数据丢失和硬件损坏。8月份&#xff0c;因为这个事情&#xff0c;还被爆出&#xff0c;西部数据面临用户的集体诉讼。 近期&#xff0c;有一个专门从事数据恢复的…

高防CDN的需求分析:社会与企业发展的推动力

在当今数字化飞速发展的时代&#xff0c;网络安全成为社会和企业发展的关键因素之一。随着网络攻击手段的不断升级&#xff0c;企业对于高防CDN&#xff08;内容分发网络&#xff09;的需求逐渐成为保障业务稳健运行的重要部分。从社会和企业发展的角度来看&#xff0c;高防CDN…

【Java 进阶篇】Ajax 实现——原生JS方式

大家好&#xff0c;欢迎来到这篇关于原生 JavaScript 中使用 Ajax 实现的博客&#xff01;在前端开发中&#xff0c;我们经常需要与服务器进行数据交互&#xff0c;而 Ajax&#xff08;Asynchronous JavaScript and XML&#xff09;是一种用于创建异步请求的技术&#xff0c;它…

Javaweb之Vue生命周期的详细解析

2.4 生命周期 vue的生命周期&#xff1a;指的是vue对象从创建到销毁的过程。vue的生命周期包含8个阶段&#xff1a;每触发一个生命周期事件&#xff0c;会自动执行一个生命周期方法&#xff0c;这些生命周期方法也被称为钩子方法。其完整的生命周期如下图所示&#xff1a; 状…

代码随想录算法训练营第四十九天| 123.买卖股票的最佳时机III 188.买卖股票的最佳时机IV

文档讲解&#xff1a;代码随想录 视频讲解&#xff1a;代码随想录B站账号 状态&#xff1a;看了视频题解和文章解析后做出来了 123.买卖股票的最佳时机III class Solution:def maxProfit(self, prices: List[int]) -> int:if len(prices) 0:return 0dp [[0] * 5 for _ in…

安装2023最新版PyCharm来开发Python应用程序

安装2023最新版PyCharm来开发Python应用程序 Install the Latest JetBrains PyCharm Community to Develop Python Applications Python 3.12.0最新版已经由其官网python.org发布&#xff0c;这也是2023年底的最新的版本。 0. PyCharm与Python 自从1991年2月20日&#xff0…

【Java】抽象类和接口

文章目录 一、抽象类1.抽象类的概念2.抽象类的语法3.抽象类的特性4.抽象类的作用 二、接口1.接口的概念2.语法规则3.接口的使用4.接口的特性5.实现多个接口6.接口间的继承7.接口的使用实例8.Clonable 接口和深拷贝9.抽象类和接口的区别 三、Object类1.获取对象信息2.对象的比较…

Python基础入门----如何通过conda搭建Python开发环境

文章目录 使用 conda 搭建Python开发环境是非常方便的,它可以帮助你管理Python版本、依赖库、虚拟环境等。以下是一个简单的步骤,演示如何通过 conda 搭建Python开发环境: 安装conda: 如果你还没有安装 conda,首先需要安装Anaconda或Miniconda。Anaconda是一个包含很多数据…

pythom导出mysql指定binlog文件

要求 要求本地有py环境和全局环境变量 先测试直接执行binlog命令执行命令 Windows 本地直接执行命令 # E:\output>E:\phpstudy_pro\Extensions\MySQL5.7.26\bin\mysqlbinlog binglog文件地址 # --no-defaults 不限制编码 # -h mysql链接地址 # -u mysql 链接名称 # -p m…

牛掰的dd命令,cpi0配合find备份(不会主动备份),od查看

dd if设备1或文件 of设备2或文件 blocknsize countn 还原就是把设备1,2调过来 这里想到dump的还原是命令restore&#xff0c;想起来就写一下&#xff0c;省的总忘记 可以针对整块磁盘进行复制&#xff0c;对于新创建的分区&#xff0c;也不用格式化&#xff0c;可以直接…

高防CDN为什么可以防DDOS攻击

CDN的全称是ContentDeliveryNetwork&#xff0c;即内容分发网络&#xff0c;顾名思义&#xff0c;它是一个分布式节点网络(也称为边缘服务器)&#xff0c;CDN节点具有缓存内容的功能&#xff0c;使用户可以在不获取源服务器数据的情况下就近获取所需内容&#xff0c;提高客户访…

Androidstudio中build.gradle classpath如何添加

Androidstudio中build.gradle classpath如何添加 build.gradle classpath如何添加 build.gradle classpath如何添加 升级as之后&#xff0c;gradle版本也升级了&#xff0c;导致project的build.gradle中的写法也不一样了。 buildscript {repositories {google()mavenCentral(…

Azure Machine Learning - Azure AI 搜索中的集成数据分块和嵌入

在基于索引器的索引编制中&#xff0c;Azure AI _集成矢量化_将数据分块和文本到矢量嵌入添加到技能中&#xff0c;它还为查询添加文本到矢量的转换。 关注TechLead&#xff0c;分享AI全维度知识。作者拥有10年互联网服务架构、AI产品研发经验、团队管理经验&#xff0c;同济本…