Go语言并发编程-案例_3

案例

并发目录大小统计

业务逻辑

统计目录的文件数量和大小(或其他信息)。示例输出:

 // 某个目录:2637 files 1149.87 MB

实现思路

  • 给定一个或多个目录,并发的统计每个目录的size,最后累加到一起。

  • 当目录中存在子目录时,递归的统计。

  • 每个目录的统计都由独立的Goroutine完成

  • 累计总Size由独立的Goroutine完成

  • 使用Channel传递获取的文件大小

  • 使用WaitGroup调度

核心代码

 // 读取目录内容// os.ReadDirfunc ReadDir(name string) ([]DirEntry, error)entries, err := os.ReadDir(dir)​// 取得文件信息info, err := entry.Info()​//判定是否为目录entry.IsDir()

编码实现

 func WalkDir(dirs ...string) string {if len(dirs) == 0 {dirs = []string{"."}}​filesizeCh := make(chan int64, 1)​wg := &sync.WaitGroup{}for _, dir := range dirs {wg.Add(1)go walkDir(dir, filesizeCh, wg)}​go func(wg *sync.WaitGroup) {wg.Wait()close(filesizeCh)}(wg)​var fileNum, sizeTotal int64for filesize := range filesizeCh {fileNum++sizeTotal += filesize}​return fmt.Sprintf("%d files %.2f MB\n", fileNum, float64(sizeTotal)/1e6)}func walkDir(dir string, fileSizes chan<- int64, wg *sync.WaitGroup) {defer wg.Done()for _, fileinfo := range fileInfos(dir) {if fileinfo.IsDir() {subDir := filepath.Join(dir, fileinfo.Name())wg.Add(1)go walkDir(subDir, fileSizes, wg)} else {fileSizes <- fileinfo.Size()}}}func fileInfos(dir string) []fs.FileInfo {entries, err := os.ReadDir(dir)if err != nil {fmt.Fprintf(os.Stderr, "walkdir: %v\n", err)return []fs.FileInfo{}}infos := make([]fs.FileInfo, 0, len(entries))for _, entry := range entries {info, err := entry.Info()if err != nil {continue}infos = append(infos, info)}return infos}

测试执行

 > go test -run=WalkDir70 files 0.09 MB​PASSok      goConcurrency   0.321s

快速排序的并发编程实现

典型的单线程快速排序实现

 func QuickSortSingle(arr []int) []int {// 确保arr中至少存在2个或以上元素if arr == nil || len(arr) < 2 {return arr}// 执行排序quickSortSingle(arr, 0, len(arr)-1)return arr}​func quickSortSingle(arr []int, l, r int) {// 判定待排序范围是否合法if l < r {// 获取参考元素位置索引mid := partition(arr, l, r)// 递归排序左边quickSortSingle(arr, l, mid-1)// 递归排序右边quickSortSingle(arr, mid+1, r)}}​// 大小分区,返回参考元素索引func partition(arr []int, l, r int) int {p := l - 1for i := l; i <= r; i++ {if arr[i] <= arr[r] {p++swap(arr, p, i)}}return p}​// 交换arr中i和j元素func swap(arr []int, i, j int) {t := arr[i]arr[i] = arr[j]arr[j] = t}

并发编程实现思路

  • 使用独立的Goroutine完成arr中某部分的排序

  • WaitGroup 完成等待阻塞同步

编码实现

 // QuickSortConcurrency 快速排序调用函数func QuickSortConcurrency(arr []int) []int {// 一:校验arr是否满足排序需要,至少要有2个元素if arr == nil || len(arr) < 2 {return arr}​// 四:同步的控制wg := &sync.WaitGroup{}// 二:执行排序// 初始排序整体[0, len(arr)-1]wg.Add(1)go quickSortConcurrency(arr, 0, len(arr)-1, wg)wg.Wait()​// 三:返回结果return arr}​// 实现递归快排的核心函数// 接收arr,和排序区间的索引位置[l, r]func quickSortConcurrency(arr []int, l, r int, wg *sync.WaitGroup) {// 一:-1wg的计数器defer wg.Done()​// 二:判定是否需要排序, l < rif l < r {// 三:大小分区元素,并获取参考元素索引mid := partition(arr, l, r)​// 四:并发对左部分排序wg.Add(1)go quickSortConcurrency(arr, l, mid-1, wg)​// 五:并发的对右部分排序wg.Add(1)go quickSortConcurrency(arr, mid+1, r, wg)}}

partition 和 swap 部分不变。

测试执行

 func TestQuickSortConcurrency(t *testing.T) {randArr := GenerateRandArr(1000)sortArr := QuickSortConcurrency(randArr)fmt.Println(sortArr)}​​// 生成大的随机数组func GenerateRandArr(l int) []int {// 生产大量的随机数arr := make([]int, l)rand.Seed(time.Now().UnixMilli())for i := 0; i < l; i++ {arr[i] = int(rand.Int31n(int32(l * 5)))}​return arr}
 > go test -run=QuickSortConcurrency

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/46640.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring纯注解开发

前言 Spring3.0引入了纯注解开发的模式&#xff0c;框架的诞生是为了简化开发&#xff0c;那注解开发就是简化再简化。Spring的特性在整合MyBatis方面体现的淋漓尽致哦 一.注解开发 以前跟老韩学习SE时他就说&#xff1a;注解本质是一个继承了Annotation 的特殊接口,其具体实…

智慧农业新纪元:解锁新质生产力,加速产业数字化转型

粮食安全乃国家之根本&#xff0c;“浙江作为农业强省、粮食生产重要省份&#xff0c;在维护国家粮食安全大局中肩负着重大使命。浙江粮食产业经济年总产值已突破4800亿元&#xff0c;稳居全国前列&#xff0c;然而&#xff0c;同样面临着规模大而不强、质量效益有待提升、数字…

C语言 ——— 打印水仙花数

目录 何为水仙花数 题目要求 代码实现 何为水仙花数 “水仙花数”是指一个n位数&#xff0c;其各位数字的n次方之和等于该数本身 如&#xff1a;153 1^3 5^3 3^3&#xff0c;则153就是一个“水仙花数” 题目要求 求出0~100000的所有“水仙花数”并输出 代码实现 #i…

深入探索 SQL 中的 LIKE 右模糊匹配(LIKE RIGHT)与左模糊匹配(LIKE LEFT)

引言 在数据库操作中&#xff0c;LIKE 子句是执行模糊搜索的强大工具&#xff0c;用于匹配列中的数据与指定的模式。本文将详细介绍 LIKE 子句中的两种常用模式&#xff1a;右模糊匹配&#xff08;LIKE RIGHT&#xff09;和左模糊匹配&#xff08;LIKE LEFT&#xff09;&#…

python实现自动更新prometheus规则

由于公司需要监控目标类型较多&#xff0c;不能手动去改动prometheus规则然后reload&#xff0c;所以就通过python写了个程序自动更新prometheus配置 基本环境准备 python 3.10.10flask 2.3.2prometheus 2.52.0 基本流程 将接口传来的prometheus规则信息保存到数据表中取数…

人工智能算法工程师(高级)课程1-单类目标识别之人脸检测识别技术MTCNN模型介绍与代码详解

大家好&#xff0c;我是微学AI&#xff0c;今天给大家介绍一下人工智能算法工程师(高级)课程1-单类目标识别之人脸检测识别技术MTCNN模型介绍与代码详解。本文深入探讨了基于PyTorch的人脸检测与识别技术&#xff0c;详细介绍了MTCNN模型、Siamese network以及center loss、sof…

11、实现基于共享内存的二叉树set

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github&#xff1a;codetoys&#xff0c;所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的&#xff0c;可以在任何平台上使用。 实现数组肯定不是我们的目标&a…

从数据库查询数据 写入Excel 写出JAVA代码

以下是一个示例代码,演示了如何从数据库中查询数据,然后将数据写入到Excel文件中: import java.io.FileOutputStream; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; import org.apache.poi.ss.user…

PostgreSQL创建表和自增序列

一、创建表&#xff1a; 注意&#xff1a; 1、在mysql没有序列的概念&#xff0c;id自增通过auto_increment实现&#xff1b; 2、pgsql没有auto_increment的概念&#xff0c;如何实现id自增&#xff1f;有两种方式&#xff1a; 方式一&#xff1a;创建序列&#xff0c;绑定…

面经学习(杭州实在智能实习)

个人评价 秃狼觉得本次的面试是有史以来难度最大的&#xff0c;问了很多陌生的八股文&#xff0c;项目问的比较少&#xff0c;估计是项目本来就没有什么亮点&#xff0c;也是第一次被面试官说菜的面试。不过在后续的学习上还是收获颇丰的。 1.说说你在实习中遇到的难点吧&…

K8S内存资源配置

在 Kubernetes (k8s) 中&#xff0c;资源请求和限制用于管理容器的 CPU 和内存资源。配置 CPU 和内存资源时&#xff0c;使用特定的单位来表示资源的数量。 CPU 资源配置 CPU 单位&#xff1a;Kubernetes 中的 CPU 资源以 “核” (cores) 为单位。1 CPU 核心等于 1 vCPU/Core…

SpringBoot RestHighLevelClient 按版本更新

SpringBoot RestHighLevelClient 按版本更新 1 查询2 更新 RestHighLevelClient 是 Elasticsearch 提供的一个用于与 Elasticsearch 集群交互的高级 REST 客户端。它是基于 Java 的客户端&#xff0c;旨在提供一种简单且功能丰富的方式来执行各种 Elasticsearch 操作&#xff0…

2024年海峡两岸创业青年研学交流项目火热开展中

7月17日&#xff0c;由浙江外国语学院国际商学院、创业学院主办的“文化之舟系两岸&#xff0c;潮头勇立浙商旗”——2024年海峡两岸大学生&#xff08;创业青年&#xff09;研学交流项目持续进行中。 上午&#xff0c;邵波副教授带领学生代表接待来自台湾的二十多名学生参加“…

利用 PHP 解锁 1688 详情 API 接口的秘密

在电商领域的探索中&#xff0c;1688 平台的商品详情数据无疑是一座宝藏。而通过 PHP 语言来解锁 1688 详情 API 接口的秘密&#xff0c;将为我们开启获取这一宝藏的大门。 一、深入了解 1688 详情 API 接口 1688 详情 API 接口提供了丰富的商品信息&#xff0c;包括商品描述、…

Linux输出重定向到文件立即输出

./md.out > output.txt 2>&1程序中断时&#xff0c;文件为空的原因可能是由于缓冲机制。标准输出&#xff08;stdout&#xff09;和标准错误输出&#xff08;stderr&#xff09;默认是缓冲的&#xff0c;这意味着数据在写入文件之前会先存储在缓冲区中。如果程序在缓…

【人工智能】在未来智慧城市的建设及应用分析

作者主页: 知孤云出岫 目录 作者主页:案例分析&#xff1a;人工智能在未来智慧城市的建设及其影响和应用引言一、人工智能在智慧城市中的关键应用领域 案例分析&#xff1a;人工智能在未来智慧城市的建设及其影响和应用 引言 智慧城市是利用信息和通信技术&#xff08;ICT&am…

电平的概念及应用(电路节点在某一时刻的电压状态)(高电平、低电平)(电压是推动电荷通过导体的力,而电平是这种力的表达形式)

文章目录 电平的概念及其在电子与电气应用中的应用1. 电平的基本概念1.1 电压与电平1.2 电流与电压的区分 2. 数字电路中的电平应用2.1 逻辑电平2.1.1 TTL电平2.1.2 CMOS电平 2.2 电平转换 3. 模拟电路中的电平应用3.1 信号表示3.2 信号放大 4. 电平在通信技术中的应用4.1 RS-4…

迁移学习在乳腺浸润性导管癌病理图像分类中的应用

1. 引言 乳腺癌主要有两种类型:原位癌:原位癌是非常早期的癌症&#xff0c;开始在乳管中扩散&#xff0c;但没有扩散到乳房组织的其他部分。这也称为导管原位癌(DCIS)。浸润性乳腺癌:浸润性乳腺癌已经扩散(侵入)到周围的乳腺组织。侵袭性癌症比原位癌更难治愈。将乳汁输送到乳…

Android Navigation 组件原理和使用教程

Android Navigation 组件是用于简化导航相关操作的框架&#xff0c;允许你在应用中管理应用内各个部分之间的导航。该组件是Android Jetpack的一部分&#xff0c;主要包含三个部分&#xff1a;导航图&#xff08;NavGraph&#xff09;、NavHost和NavController。 一、原理 Nav…

Kafka Producer之幂等性

文章目录 1. 启用幂等性2. 底层变化3. 数据不重复4. 数据有序 幂等性通过消耗时间和性能的方式&#xff0c;解决乱序和重复问题。 但是只能保证同一生产者在一个分区中的幂等性。 1. 启用幂等性 //创建producerHashMap<String, Object> config new HashMap<>();…