[Go版]算法通关村第十五关白银——海量数据场景下的热门算法题

目录

  • 题目:从 40个亿 中产生一个不存在的整数
    • 要求:假设你有 1GB 的内存来完成这项任务
      • Go代码
    • 进阶:如果只有 10MB 的内存可用,该怎么办?
      • 1. 考虑10MB的内存,用位图存储的数据容量有多少?
      • 2. 考虑40亿数据,每块用10MB内存,需要多少块?
        • 补充:建议将划分块数取位2的整数倍的原因
      • 3. 明确分成多少块后,接着怎么做?
        • 1. 找出不存在的整数在哪个块中
        • 2. 明确了所在块,找出不存在的值即可
      • Go代码
  • 题目:用 2GB 内存在 20亿 个整数中找到出现次数最多的数
    • 哈希表统计
      • 确定存储结构的数据类型(考虑值溢出问题)
    • 哈希函数分割文件(考虑 2GB 内存能存储多少个值)
      • 确保将相同的数分配到同一个小文件中
    • 小文件中的统计
    • 寻找每个小文件的第一名
    • 从16个小文件中选出全局第一名
  • 题目:从 100亿 个URL中查找的问题
    • 要求:有一个包含 100 亿个 URL 的大文件,假设每个 URL 占用 64B,请找出其中所有重复的 URL。
    • 补充问题:某搜索公司一天的用户搜索词汇是海量的(百亿数据量),请设计一种求出每天热门 Top 100 词汇的可行办法。
    • 总结处理大规模数据的技巧方法:哈希分流、哈希表、堆排序、位图
  • 题目:40 亿个非负整数中找到出现两次的数
    • 要求:32 位无符号整数的范围是 0~4 294 967 295,现在有 40 亿个无符号整数,可以使用最多 1GB 的内存,找出所有出现了两次的数。
    • Go代码

海量数据中,此时普通的数组、链表、Hash、树等等结构有无效了 ,因为内存空间放不下了。而常规的递归、排序,回溯、贪心和动态规划等思想也无效了,因为执行都会超时,必须另外想办法。这类问题该如何下手呢?这里介绍三种非常典型的思路:

  1. 使用位存储,使用位存储最大的好处是占用的空间是简单存整数的1/8。例如一个40亿的整数数组,如果用整数存储需要16GB左右的空间,而如果使用位存储,就可以用2GB的空间,这样很多问题就能够解决了。

  2. 如果文件实在太大 ,无法在内存中放下,则需要考虑将大文件分成若干小块,先处理每个块,最后再逐步得到想要的结果,这种方式也叫做外部排序。这样需要遍历全部序列至少两次,是典型的用时间换空间的方法

  3. 如果在超大数据中找第K大、第K小,K个最大、K个最小,则特别适合使用堆来做。而且将超大数据换成流数据也可以,而且几乎是唯一的方式,口诀就是“查小用大堆,查大用小堆”。

题目:从 40个亿 中产生一个不存在的整数

要求:假设你有 1GB 的内存来完成这项任务

对于40亿数据的存储所需内存分析:

//直接存储 需要15GB,不满足要求
4000000000*4/1024/1024/1024 ≈ 15GB//使用位图存储 需要0.5GB,满足要求
4000000000/8/1024/1024/1024 ≈ 0.5GB

所以,跟上一节使用的位存储方案一样即可,话不多说,直接上代码

Go代码

源码地址: GitHub-golang版本(含单元测试代码)

func FindNoExistNumBy1G(arr []int) int {N := 4000000000bitmap := make([]int, N/32+1)for _, num := range arr {num0 := num - 1index := num0 / 32offset := num0 % 32mark := 1 << offsetbitmap[index] |= mark}for index, v := range bitmap {for i := 0; i < 32; i++ {mark := 1 << iif v&mark == 0 {return index*32 + i + 1}}}return -1
}

进阶:如果只有 10MB 的内存可用,该怎么办?

1. 考虑10MB的内存,用位图存储的数据容量有多少?

10*1024*1024*8 = 83886080(bit)

2. 考虑40亿数据,每块用10MB内存,需要多少块?

对40亿数据,使用分块处理,如果每块用10MB内存使用位图存储,只需 4000000000/83886080 ≈ 48 块 即可。

而一般来说,我们划分都是使用2的整数倍,因此这里划分成64块是更合理的。

2^2=4
2^3=8
2^4=16
2^5=32
2^6=64
2^26=67108864
2^32=4294967296

补充:建议将划分块数取位2的整数倍的原因

  1. 容错性: 通过将划分块数取为 2 的整数倍,你可以更好地应对数据量的增长和变化。如果未来需要处理更大的数据集,你不必重新设计划分块的大小,只需调整块数即可。
  2. 适应性: 以 2 的整数倍作为划分块数,更适应于计算机的内存和硬件存储结构。计算机通常更容易处理 2 的幂次方大小的数据,因为这与内存、缓存和磁盘的操作单位相匹配。
  3. 性能平衡: 在外部排序中,划分块的大小和块数之间存在一个平衡。虽然划分更多的块可能会在每块内有更少的数据,但过多的块会增加排序和合并的开销。选择适度的划分块数可以在时间和空间效率之间取得平衡。

3. 明确分成多少块后,接着怎么做?

接上面,这里40亿数据,我们分成了64块来处理,即 countArr := make([]int, 64)

1. 找出不存在的整数在哪个块中

遍历40亿数据,明确每个数据对应的块,统计落在每个块上的总数量,然后判断哪个块的总数<平均数,则不存在的整数在哪个块中。(这里一定会有至少一个块的总数<平均数)

那每块的平均数是多少?

  • 第一种方法:可以使用数据总数 40亿 除以块数,即 4000000000 / 64 = 62500000
  • 第二种方法:也可以使用 2^32=4294967296(大于40亿) 除以块数 即 4294967296 / 64 = 67108864

举例使用第二种方法:将 4294967296 / 64 = 67108864 得到每块平均存放的个数,即

第  0  块 :67108864 * 0  ~ (67108864 * (0 + 1) - 1)  <==> 0 		 ~ 67108863
第  1  块 :67108864 * 1  ~ (67108864 * (1 + 1) - 1)  <==> 67108864 	 ~ 134217727
第  x  块 :67108864 * x  ~ (67108864 * (x + 1) - 1) 
第  63 块 :67108864 * 63 ~ (67108864 * (63+ 1) - 1)  <==> 4227858432 ~ 4294967295

举例如何求出每个数据对应的块:比如当前数是 3422552090

对应块的索引:3422552090 / 67108864 = 51

然后让该块的总数量+1,即:countArr[51]++
最后遍历countArr,判断哪个块的总数量 < 67108864,就找到了不存在的整数在这个块中。

2. 明确了所在块,找出不存在的值即可

假设找到第37块上的总数 < 67108864,那就对40亿数据进行第二次遍历,过滤掉不在37块上的数。
对于在37块上的数据,继续使用上一节的位存储方案处理。将每个数据投射在位图中对应位置,设置值为1。
最后遍历位图,当找到位置值为0,根据此时的位偏移位图索引就能算出这个不存在的值了
举例:不存在的值=位偏移 + 位图索引*32 + 37*67108864

Go代码

源码地址: GitHub-golang版本(含单元测试代码)

func FindTargetIndex(arr []int) (targerIndex int) {N := 67108864countArr := make([]int, 64) //大约占用 0.25K 内存空间// 遍历40亿数据,明确每个数据对应的块,统计落在每个块上的总数量for _, num := range arr {countArr[num/N]++}for i, count := range countArr {if count < N {return i}}return -1
}
func FindNoExistNumBy10M(arr []int) (res int) {N := 67108864targetIndex := FindTargetIndex(arr)bitmap := make([]int, N/32+1) //大约占用 8M 内存空间for _, num := range arr {// 如果数据是属于目标块的if num/N == targetIndex {val := num - targetIndex*Nval0 := val - 1index := val0 / 32offset := val0 % 32mark := 1 << offsetbitmap[index] |= mark}}for index, intval := range bitmap {for i := 0; i < 32; i++ {mark := 1 << i// 找到不存在的值if intval&mark == 0 {res = i + index*32 + targetIndex*N + 1return res}}}return -1
}

题目:用 2GB 内存在 20亿 个整数中找到出现次数最多的数

要求:有一个包含 20 亿个全是 32 位整数的大文件,在其中找到出现次数最多的数。
要求,内存限制为 2GB。

哈希表统计

在找出现次数最多的数时,一般做法是使用哈希表,其中键是整数,值是对应整数的出现次数。

确定存储结构的数据类型(考虑值溢出问题)

int的最大值是:2^31-1 = 2147483647
2147483647 > 20亿,所以可以使用int类型表示key和val(极端情况:如果有整数出现20亿次,或者有20亿个不同的整数,都不会有溢出问题)

所以,哈希map的结构为:map[int]int
由于每个整数是32位,所以一个键需要4字节,一个值也需要4字节,所以每个键值对需要8字节

哈希函数分割文件(考虑 2GB 内存能存储多少个值)

2GB = 210241024*1024 = 2147483648(byte)
2147483648 / 8 = 268435456
2亿 < 268435456 < 3亿

所以,将20亿分为每块2亿进行处理,共10块,这样处理每块的内存 < 2GB 内存,满足题意。

但一般来说,我们划分都是使用2的整数倍,因此这里划分成16块是更合理的。

确保将相同的数分配到同一个小文件中

哈希函数的作用是将输入的数据映射到一个较小的范围,例如0到15。这样,相同的整数会被映射到同一个范围,从而将整个大文件分割成了16个小文件。

小文件中的统计

对每个小文件,使用哈希表来统计其中每种数出现的次数。这样,每个小文件都包含了它自己的键值对,键是整数,值是对应整数的出现次数。

寻找每个小文件的第一名

对每个小文件,找出出现次数最多的数(第一名),并记录其出现次数。这样,就得到了16个小文件中各自的第一名和对应的次数。

从16个小文件中选出全局第一名

最后,从这16个小文件的第一名中选出谁出现的次数最多,就是全局的出现次数最多的数。

题目:从 100亿 个URL中查找的问题

要求:有一个包含 100 亿个 URL 的大文件,假设每个 URL 占用 64B,请找出其中所有重复的 URL。

解答:原问题的解法使用解决大数据问题的一种常规方法:把大文件通过哈希函数分配到机器, 或者通过哈希函数把大文件拆成小文件,一直进行这种划分,直到划分的结果满足资源限制的要求。首先,你要向面试官询问在资源上的限制有哪些,包括内存、计算时间等要求。在明确了限制要求之后,可以将每条 URL 通过哈希函数分配到若干台机器或者拆分成若干个小文件, 这里的“若干”由具体的资源限制来计算出精确的数量。

例如,将 100 亿字节的大文件通过哈希函数分配到 100 台机器上,然后每一台机器分别统计分给自己的 URL 中是否有重复的 URL,同时哈希函数的性质决定了同一条 URL 不可能分给不同的机器;或者在单机上将大文件通过哈希函数拆成 1000 个小文件,对每一个小文件再利用哈希表遍历,找出重复的 URL;还可以在分给机器或拆完文件之后进行排序,排序过后再看是否有重复的 URL 出现。总之,牢记一点,很多大数据问题都离不开分流,要么是用哈希函数把大文件的内容分配给不同的机器,要么是用哈希函数把大文件拆成小文件,然后处理每一个小数量的集合。

补充问题:某搜索公司一天的用户搜索词汇是海量的(百亿数据量),请设计一种求出每天热门 Top 100 词汇的可行办法。

补充问题最开始还是用哈希分流的思路来处理,把包含百亿数据量的词汇文件分流到不同的机器上,具体多少台机器由面试官规定或者由更多的限制来决定。对每一台机器来说,如果分到的数据量依然很大,比如,内存不够或存在其他问题,可以再用哈希函数把每台机器的分流文件拆成更小的文件处理。处理每一个小文件的时候,通过哈希表统计每种词及其词频,哈希表记录建立完成后,再遍历哈希表,遍历哈希表的过程中使用大小为 100 的小根堆来选出每一个小文件的 Top 100(整体未排序的 Top 100)。每一个小文件都有自己词频的小根堆(整体未排序的 Top 100),将小根堆里的词按照词频排序,就得到了每个小文件的排序后 Top 100。然后把各个小文件排序后的 Top 100 进行外排序或者继续利用小根堆,就可以选出每台机器上的 Top100。不同机器之间的 Top 100 再进行外排序或者继续利用小根堆,最终求出整个百亿数据量中的 Top 100。对于 Top K 的问题,除用哈希函数分流和用哈希表做词频统计之外,还经常用堆结构和外排序的手段进行处理。

总结处理大规模数据的技巧方法:哈希分流、哈希表、堆排序、位图

题目:40 亿个非负整数中找到出现两次的数

要求:32 位无符号整数的范围是 0~4 294 967 295,现在有 40 亿个无符号整数,可以使用最多 1GB 的内存,找出所有出现了两次的数。

本题可以看做第一题的进阶问题,这里将出现次数限制在了两次。

  1. 首先,需要一个位图数组 bitArr,该数组的长度是 4,294,967,295 × 2,每个数需要两个位置(bit)来表示其出现的情况。由于每个 bit 占用 1/8 个字节(1 byte),所以数组长度为 4,294,967,295 × 2 / 8 bytes,大约占用 1GB 的内存空间。
  2. 遍历这 40 亿个无符号数。对于每个数 num,我们检查它在 bitArr 中的对应位置,即 bitArr[num * 2] 和 bitArr[num * 2 + 1]。
    • 如果 bitArr[num * 2] 和 bitArr[num * 2 + 1] 都是 0,说明这是第一次遇到该数,我们将其设置为 01(01表示出现了一次)。
    • 如果 bitArr[num * 2] 和 bitArr[num * 2 + 1] 是 01,说明这是第二次遇到该数,我们将其设置为 10(10表示出现了两次)。
    • 如果 bitArr[num * 2] 和 bitArr[num * 2 + 1] 已经是 10,说明这是第三次及以上遇到该数,我们将其保持为 10,不再变动。
  3. 遍历完成后,我们再次遍历 bitArr。对于每个数 i,如果发现 bitArr[i * 2] 和 bitArr[i * 2 + 1] 的值是 10,说明这个数出现了两次,我们可以将 i 加入到结果集中。

Go代码

func findDuplicates(arr []uint32) []uint32 {bitArrLen := uint64(4294967295) * 2bitArr := make([]byte, (bitArrLen/8)+1)duplicates := []uint32{}for _, num := range arr {index := num * 2if (bitArr[index/8] & (1 << (index % 8))) == 0 {bitArr[index/8] |= 1 << (index % 8)} else if (bitArr[(index+1)/8] & (1 << ((index + 1) % 8))) == 0 {bitArr[(index+1)/8] |= 1 << ((index + 1) % 8)duplicates = append(duplicates, num)}}return duplicates
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/57710.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络aaaaaaa

差错检测 在一段时间内&#xff0c;传输错误的比特占所传输比特总数的比率称为误码率BER(Bit Error Rate) 11111111111111111111111111111111111111111111111111111111111111111111111111111111 11111111111111111111111111111111111111111111111111111111111111111111111111…

如何允许远程访问MySQL

许多网站和应用程序一开始都将web服务器和数据库后端托管在同一台机器上。不过&#xff0c;随着时间的推移&#xff0c;这样的设置可能会变得繁琐和难以扩展。一种常见的解决方案是通过设置远程数据库来分离这些功能&#xff0c;允许服务器和数据库在各自的机器上按自己的速度增…

深入探讨代理技术:保障网络安全与爬虫效率

在当今数字化时代&#xff0c;代理技术在网络安全与爬虫领域扮演着重要角色。从Socks5代理、IP代理&#xff0c;到网络安全和爬虫应用&#xff0c;本文将深入探讨这些关键概念&#xff0c;揭示它们如何相互关联以提高网络安全性和爬虫效率。 1. 代理技术简介 代理技术是一种允…

c#在MVC Api(.net framework)当中使用Swagger,以及Demo下载

主要的步骤就是创建项目&#xff0c;通过nuget 添加Swashbuckle包&#xff0c;然后在SwaggerConfig当中进行相关的配置。 具体的步骤&#xff0c;可以参考下面的链接&#xff1a; https://www.cnblogs.com/94pm/p/8046580.htmlhttps://blog.csdn.net/xiaouncle/article/detail…

Boost开发指南-4.12utility

utility utility库不是一个有统一主题的Boost库&#xff0c;而是包含了若干个很小但有用的工具。 本章开头介绍的noncopyable.swap都曾经被归类在utility库里(现在则属于core库),此外utility还包括其他很多个实用类&#xff0c;如 base_from_member、compressed_pair、checke…

瞬态电压抑制器(TVS)汽车级 SZESD9B5.0ST5G 工作原理、特性参数、封装形式

什么是汽车级TVS二极管&#xff1f; TVS二极管是一种用于保护电子电路的电子元件。它主要用于电路中的过电压保护&#xff0c;防止电压过高而损坏其他部件。TVS二极管通常被称为“汽车级”是因为它们能够满足汽车电子系统的特殊要求。 在汽车电子系统中&#xff0c;由于车辆启…

蓝牙模块产品认证-国际市场准入准则之BQB认证认证基础知识

蓝牙模块产品认证-国际市场准入准则之BQB认证认证基础知识 前言 BQB认证介绍 Bluetooth SIG Bluetooth SIG 由八大无线通讯行业巨头成立的一家公司&#xff0c;专门负责蓝牙规格开发、 技术推广及资格认证工作,成立于1998年。 Bluetooth SIG拥有Bluetooth Trademarks 免费地授…

计网-控制平面

下个月前最后一篇计网笔记&#xff0c;再坚挺一下&#xff0c;网络如同海洋&#xff0c;任我穿梭遨游~~ ——题记 大多数的算法更新&#xff0c;就是枚举 路由器与交换机的区别 文章目录 概述小白Dilistra:w的邻域按权值排序&#xff0c;v[w,i]min(c[w,i],v[w,i-1]c[i-1,i],...…

VB车辆管理系统SQL设计与实现

摘 要 随着信息时代的到来,信息高速公路的兴起,全球信息化进入了一个新的发展时期。人们越来越认识到计算机强大的信息模块处理功能,使之成为信息产业的基础和支柱。 我国经济的快速发展,汽车已经成为人们不可缺少的交通工具。对于拥有大量车辆的机关企事业来说,车辆的…

ChatGPT⼊门到精通(2):ChatGPT 能为我们做什么

⼀、雇佣免费的⼲活⼩弟 有了ChatGPT后&#xff0c;就好⽐你有了好⼏个帮你免费打⼯的「⼩弟」&#xff0c;他们可以帮你做很多 ⼯作。我简单总结⼀些我⽬前使⽤过的⽐较好的基于ChatGPT的服务和应⽤。 1、总结、分析 当我们在阅读⼀些⽂章和新闻的时候&#xff0c;有的⽂章写…

4.9 已建立连接的TCP,收到SYN会发生什么?

1. 客户端的 SYN 报文里的端口号与历史连接不相同 此时服务端会认为是新的连接要建立&#xff0c;于是就会通过三次握手来建立新的连接。 旧连接里处于 Established 状态的服务端最后会怎么样呢&#xff1f; 服务端给客户端发消息了&#xff1a;客户端连接已被关闭&#xff…

【Go 基础篇】深入探索:Go语言中的切片遍历与注意事项

嗨&#xff0c;Go语言学习者&#xff01;在我们的编程旅程中&#xff0c;切片&#xff08;Slice&#xff09;是一个极其重要的工具。它可以帮助我们处理各种类型的数据&#xff0c;从而让我们的代码更加灵活和高效。本文将围绕Go语言中切片的遍历方法以及在遍历时需要注意的事项…

Scrum敏捷研发迭代式开发

Scrum是一个迭代式增量软件开发过程&#xff0c;是敏捷方法论中的重要框架之一。它通常用于敏捷软件开发&#xff0c;包括了一系列实践和预定义角色的过程骨架。Scrum中的主要角色包括Scrum主管&#xff08;Scrum Master&#xff09;、产品负责人&#xff08;Product Owner&…

Android ---使用Jenkins 打包release版本不能安装或者安装后不显示APP

大家在用 Jenkins的时候&#xff0c;是不是会觉得很爽&#xff0c;因为他在用的过程中&#xff0c;是无脑的&#xff0c;毕竟一键触发&#xff01;&#xff01;&#xff01;&#xff01; 这边记录一个昨天&#xff0c;今天遇到的一个坑货问题&#xff0c;别人提交了所有代码&am…

ElasticSearch基础知识汇总

文章目录 前言一、认识ElasticSearch1.正向索引和倒排索引2. MySql与ElasticSearc3.IK分词器 二、ES索引库操作1.mapping映射属性2.索引库的CRUD 三、ES文档库操作 前言 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎&#xff0c;基…

获取ID地址

import javax.servlet.http.HttpServletRequest; import java.net.InetAddress; import java.net.UnknownHostException;/*** 请求工具类* Created by macro on 2020/10/8.*/ public class RequestUtil {/*** 获取请求真实IP地址*/public static String getRequestIp(HttpServl…

3.RabbitMQ 架构以及 通信方式

一、RabbitMQ的架构 RabbitMQ的架构可以查看官方地址 可以看出RabbitMQ中主要分为三个角色&#xff1a; Publisher&#xff1a;消息的发布者&#xff0c;将消息发布到RabbitMQ中的ExchangeRabbitMQ服务&#xff1a;Exchange接收Publisher的消息&#xff0c;并且根据Routes策…

Vim之父逝世,为纪念他你现在可以开始学习 Vim 了

编辑器Vim之父&#xff0c;布莱姆米勒&#xff08;Bram Moolenaar&#xff09;逝世&#xff0c;享年62岁。 &#xff08;程式设计圈内广为流传的一句话&#xff1a;世界上只有叁种程式设计师&#xff0c;用Vim的&#xff0c;用Emacs&#xff0c;和用其他的。&#xff09; 在布莱…

抖店商品怎么让达人带货?说下找达人技巧和寄样后的操作,可收藏

我是王路飞。 找达人带货的玩法是公认出单快、易爆单、长久稳定的出单方式。 虽然新手可能感觉要给达人佣金&#xff0c;自己利润会降低&#xff0c;但是这种玩法可以让你快速入门&#xff0c;且能长久玩下去。 尤其是现在抖音直播间的产品全都是来自抖音小店的&#xff0c;…

YOLO目标检测——花蕊分类检测数据集下载分享

花蕊分类检测数据集共同7300图片&#xff0c;103类别&#xff0c;分别放在103个文件夹中&#xff0c;可应用于&#xff1a;植物学研究、花卉市场和园艺业、智能农业、视觉搜索引擎、等等 数据集点击下载&#xff1a;YOLO花蕊分类检测数据集7300图片102种类别.rar