Go 秒读32GB大文件

在Go中,处理大文件时,一般采用分块读取的方式,以避免一次性加载整个文件到内存中。

1、打开文件

使用os.Open打开文件 

package mainimport ("log""os"
)func main() {file, err := os.Open("xxx.txt")if err != nil {log.Fatal(err)}defer file.Close()
}

2、获取文件信息

使用file.Stat获取文件的基本信息,包括文件大小

package mainimport ("fmt""log""os"
)func main() {file, err := os.Open("xxx.txt")if err != nil {log.Fatal(err)}defer file.Close()fileInfo, err := file.Stat()if err != nil {log.Fatal(err)}fileSize := fileInfo.Size()fmt.Println(fileSize)
}

3、设置缓冲区大小

为了提高读取效率,使用合适大小的缓冲区

package mainimport ("fmt""io""log""os"
)func main() {//1、打开文件file, err := os.Open("xxx.txt")if err != nil {log.Fatal(err)}defer file.Close()//2、获取文件信息fileInfo, err := file.Stat()if err != nil {log.Fatal(err)}fileSize := fileInfo.Size()fmt.Println(fileSize)//3、设置缓冲区大小bufferSize := 8192 // 8KB 缓冲区大小buffer := make([]byte, bufferSize)
}

4、循环读取文件内容

使用file.Read循环读取文件内容 

package mainimport ("fmt""io""log""os"
)func main() {//1、打开文件file, err := os.Open("xxx.txt")if err != nil {log.Fatal(err)}defer file.Close()//2、获取文件信息fileInfo, err := file.Stat()if err != nil {log.Fatal(err)}fileSize := fileInfo.Size()fmt.Println(fileSize)//3、设置缓冲区大小bufferSize := 8192 // 8KB 缓冲区大小buffer := make([]byte, bufferSize)//4、循环读取文件内容for {bytesRead, err := file.Read(buffer)if err == io.EOF {// 文件读取完毕break}if err != nil {log.Fatal(err)}// 处理读取的数据,例如输出到控制台fmt.Print(string(buffer[:bytesRead]))}
}

5、 关闭文件

package mainimport ("fmt""io""log""os"
)func main() {//1、打开文件file, err := os.Open("xxx.txt")if err != nil {log.Fatal(err)}defer file.Close()//关闭//2、获取文件信息fileInfo, err := file.Stat()if err != nil {log.Fatal(err)}fileSize := fileInfo.Size()fmt.Println(fileSize)//3、设置缓冲区大小bufferSize := 8192 // 8KB 缓冲区大小buffer := make([]byte, bufferSize)//4、循环读取文件内容for {bytesRead, err := file.Read(buffer)if err == io.EOF {// 文件读取完毕break}if err != nil {log.Fatal(err)}// 处理读取的数据,例如输出到控制台fmt.Print(string(buffer[:bytesRead]))}
}

 6、案例

package mainimport ("bufio""fmt""log""os""strings"
)func main() {file, err := os.Open("large_file.txt")if err != nil {log.Fatal(err)}defer file.Close()const maxScanTokenSize = 64 * 1024 * 1024 // 64MBbuf := make([]byte, maxScanTokenSize)scanner := bufio.NewScanner(file)scanner.Buffer(buf, maxScanTokenSize)for scanner.Scan() {line := scanner.Text()// 处理每一行的逻辑fmt.Println(line) //打印每一行fields := strings.Split(line, ",") // 假设使用逗号分隔// 处理fields中的每个字段for _, field := range fields {fmt.Println(field)// 可以添加更多处理逻辑}}if err := scanner.Err(); err != nil {log.Fatal(err)}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/13522.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

部署Web应用,使用多种Azure服务【简略步骤】

步骤1:设计和开发Web应用 首先,选择一个开发框架和编程语言。例如,使用ASP.NET Core和C#进行开发。 创建项目: 使用Visual Studio或VS Code创建一个ASP.NET Core Web应用。 开发应用: 根据需求开发应用的各个部分&…

FastAPI单元测试:使用TestClient轻松测试你的API

当使用FastAPI进行单元测试时,一个重要的工具是TestClient类。TestClient类允许我们模拟对FastAPI应用程序的HTTP请求,并测试应用程序的响应。这使我们能够在不启动服务器的情况下对API进行全面的测试。 下面我将详细讲解TestClient的使用方法和常见操作…

10大桌面软件前端框架,那个是您的最爱呢?

桌面端前端框架是用于构建桌面应用程序的前端框架,以下是一些常用的桌面端前端框架: 1. Electron: Electron是一个开源的桌面应用程序开发框架,可以使用HTML、CSS和JavaScript构建跨平台的桌面应用程序,例如VS Code、…

2024 年第四届长三角高校数学建模竞赛赛题B题超详细解题思路+代码分享

B题 人工智能范式的物理化学家 问题一问题二问题三问题四问题五完整代码与文档获取 B题思路详细解析分享给大家,还会继续更新完成具体的求解过程,以及全部的代码与技术文档,都会直接给大家分享的哦~需要完整代码直接看到最后哦 问题一 针对问…

谈谈【软件测试的基础知识,基础模型】

关于软件测试的基本概念和基本模型 前言一个优秀的测试人员具备的素质关于需求测试用例软件错误(BUG)概念开发模型瀑布模型(Waterfall Model)螺旋模型(Spiral Model) 前言 首先,什么是软件测试? 通俗来讲:软件测试就是找BUG&…

vue3 图片加载报错时,设置默认图片

项目场景: 在项目开发中,图片因为各种原因加载失败,这时候需要设置默认的图片(暂无图片.png) 问题描述 在使用vue3开发问题的同时,有些图片因为服务器更换,历史数据问题,加载失败&am…

【配置】雷池WAF社区版安装

官方文档点击跳转 什么是雷池 雷池(SafeLine)是长亭科技耗时近 10 年倾情打造的 WAF,核心检测能力由智能语义分析算法驱动。 什么是 WAF WAF 是 Web Application Firewall 的缩写,也被称为 Web 应用防火墙。 区别于传统防火墙…

记某src通过越权拿下高危漏洞

在挖掘某SRC时,遇到了一个社区网站,社区站点是我在挖掘SRC时比较愿意遇到的,因为它们可探索的内容是较多的,幸运地,通过两个接口构造参数可进行越权,从而获得整个网站用户的信息。 图片以进行脱敏处理。在…

单词可交互的弧形文本

在一个项目中,要求把少儿读本做成电子教材呈现出来,电子书的排版要求跟纸质书一致。其中,英语书有个需求:书中有些不规则排版的文本(如下图所示),当随书音频播放时,被读到的文本要求…

gin框架学习笔记(四) ——参数绑定与参数验证

参数绑定 前言 在Gin框架中我们可以利用bind来将前段传递过来的参数与结构体进行参数绑定与参数校验,而这bind的方式主要有以下两种: Mustbind:一般使用较少,因为参数校验失败会改变状态码Shouldbind:主要使用上的校验方法,校验…

Elasticsearch - HTTP

文章目录 安装基本语法索引创建索引查看索引删除索引 文档创建文档更新文档匹配查询多条件查询聚合查询映射 安装 https://www.elastic.co/downloads/past-releases/elasticsearch-7-17-0 下载完成启动bin/elasticsearch服务,可以在Postman调试各种请求。 基本语法…

MySQL:什么样的字段适合加索引?什么样的字段不适合加索引

1 适合加索引的场景 (1)主键字段:用于唯一标识每个记录的字段,通常是数据库表中的一个自增或唯一标识字段。 (2)外键字段:用于连接两个表之间关系的字段,通常是一个表中的字段与另一个表中的主键字段关联。 (3)经常用于查询的字段:如果某个字段经常被用于查询条件…

新建jupyter notebook 出错

File “/home/map/huyong06/xdev/lib/python3.6/site-packages/notebook/utils.py”, line 36, in exists os.lstat(path) UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 28-30: ordinal not in range(128) [W 14:08:19.063 NotebookApp] Unhandl…

高稳定LED驱动IC防干扰数显驱动控制器热水器LED驱动芯片VK1650 SOP16/DIP16 原厂FAE支持

产品型号:VK1650 产品品牌:永嘉微电/VINKA 封装形式:SOP16/DIP16 工程服务,技术支持! 概述 VK1650是一种带键盘扫描电路接口的 LED 驱动控制专用芯片,内部集成有数据锁存器、LED 驱动、键盘扫描等电路。…

2024年职称评审流程大揭秘,顺利拿下职称

上半年时间不急,中旬太忙,没有时间,下半年干着急。评职称一定要趁早,不然卡住一个流程,今年就不需要评职称了。中级副高级职称评职称就像挤公交你不努力挤一把,就只能等下一趟下一趟。所以评职称一定要看准…

[Cocos Creator 3.5赛车游戏] 第4节 创建汽车节点

在实现汽车节点之前,我们要先熟悉一下少量的基本概念,这样才能让您更快的实现第一个汽车节点。 一、基本概念 1.什么是节点: 在Cocos中,场景是由一系列节点组成的,每个节点下面又可以有子节点,而每个节点都…

Axure RP 9 for Mac:强大的原型设计利器

Axure RP 9 for Mac是一款功能强大的原型设计工具,专为Mac用户打造。它支持高保真度的应用程序和网站原型设计,帮助用户快速创建高质量的产品原型。软件内置丰富的交互效果和动画设计选项,设计师可以通过简单的操作,为原型添加各种…

php获得淘宝商品评论 API

要获得淘宝商品评论的API,您可以使用淘宝开放平台的接口。以下是获取淘宝商品评论的一种方法: 注册成为淘宝开放平台的开发者。登录淘宝开放平台,创建应用,获取到App Key和App Secret。或者使用第三方App Key和App Secret生成签名…

Eclipse下WEB-INF/classes目录下没生成编译最新class文件

右击项目 >> Properties >>Deployment Assembly >>Source 把/src/main/java 的Deploy Path 改为 WEB-INF/classes

MYSQL之binlog详解优缺点

MYSQL之binlog详解 一、什么是binlog? binlog,即二进制日志,它记录了数据库上的所有改变,并以二进制的形式保存在磁盘中它可以用来查看数据库的变更历史、数据库增量备份和恢复、Mysql的复制(主从数据库的复制)二、binlog模式 …