尽量使用写文本方式存储数据(pandas 和 file write效率对比)

  • 对比:使用 pandas 存储数据 VS 使用写文本 方式存储数据
import pandas as pd
import time
def pandasWrite():t0 = time.time()colname = [str(i) for i in range(550)]df = pd.DataFrame(columns=colname)for i in range(100):df.loc[len(df)] = dict(zip(colname, range(550)))t1 = time.time()df.to_csv("temp.csv")print("pandas 存储数据用时:", t1-t0)# print(df)def fileWrite():t0 = time.time()colname = [str(i) for i in range(550)]with open("temp1.txt", 'w', encoding='utf-8') as f:f.write('\t'.join(x for x in colname))for i in range(100):f.write('\t'.join(str(x) for x in range(550))+'\n')t1 = time.time()print("写文本 存储数据用时:", t1-t0)pandasWrite()
fileWrite()

输出:

pandas 存储数据用时: 4.545027494430542
写文本 存储数据用时: 0.03499293327331543

写文本方式,了 接近 130 倍

工作当中踩过的坑,浪费了大半天时间,大家注意!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/471408.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Hadoop学习笔记—10.Shuffle过程那点事儿

Hadoop学习笔记—10.Shuffle过程那点事儿 一、回顾Reduce阶段三大步骤 在第四篇博文《初识MapReduce》中,我们认识了MapReduce的八大步骤,其中在Reduce阶段总共三个步骤,如下图所示: 其中,Step2.1就是一个Shuffle操作&…

已安装Anaconda情况下,命令行pip,python报错(详细 已解决)

已安装Anaconda情况下,命令行pip,python报错(已解决) 这是报错截图 解决方案如下: 1.首先可以去找到anaconda文件夹,并打开该文件目录下的Script文件夹,查看是否有pip.exe文件,并查看是否配置…

linux shell 输出日期格式,Linux下Shell日期的格式

常用的时间域如下:% Y 年(例如:1970,2018等) % m 月(01..12) % d 一个月的第几天(01..31) % H 小时(00..23) % M 分(00..59) % S 秒(00..59)使用不带参数的date命令获取当前时间日期。这样得到的一般是CST标准格式的时间。[alvinVM_0_16_cent…

LeetCode 2105. 给植物浇水 II(双指针)

文章目录1. 题目2. 解题1. 题目 Alice 和 Bob 打算给花园里的 n 株植物浇水。 植物排成一行,从左到右进行标记,编号从 0 到 n - 1 。其中,第 i 株植物的位置是 x i 。 每一株植物都需要浇特定量的水。 Alice 和 Bob 每人有一个水罐&#x…

通过Cisco packet Tracer 划分vlan实现不同交换机间pc进行通信

通过Cisco packet Tracer 划分vlan实现不同交换机间pc进行通信 交换机端口类型介绍: vlan 1.命令行实现将端口 fa0/4 fa0/5 fa0/6分配到vlan3: 2.命令行实现两个交换机模式由access切换为trunk,使得不同交换机中相同vlan中的PC能够进行通信

Supervised Convolutional Neural Network

Stanford计算机系的官方tutorial,Andrew Ng执笔 Supervised Convolutional Neural Network http://ufldl.stanford.edu/tutorial/supervised/FeatureExtractionUsingConvolution/ 要用到的数据 http://yann.lecun.com/exdb/mnist/ 注意:打开的数据名与…

linux xp镜像文件,让Windows XP镜像文件小一点儿(转)

让Windows XP镜像文件小一点儿(转)[more]近日笔者的一位朋友遇上件烦心事儿,他发现安装好Windows XP Professional和Services Pack 1a补丁升级文件后,其文件大小总和已达到1.7GB容量。而用Ghost备份后的lmage镜像文件也有1.2GB之大,不能将它储…

Packet Tracer配置交换机详细步骤(实验)

1.首先建立如下图所示的网络拓扑结构 这里需要注意 PC 与 交换机switch交换机之间的连线方式: 1)连线方式选择 控制台连线 2)switch 中需要选择 console接口; 3)PC 中需要选择 RS 232接口 2.点击PC -> 选择桌面 -…

LeetCode 2108. 找出数组中的第一个回文字符串

文章目录1. 题目2. 解题1. 题目 给你一个字符串数组 words ,找出并返回数组中的 第一个回文字符串 。如果不存在满足要求的字符串,返回一个 空字符串 “” 。 回文字符串 的定义为:如果一个字符串正着读和反着读一样,那么该字符…

Eclipse用法和技巧二十三:查看JDK源码

使用java开发,如果能阅读JDK的经典代码,对自己的水平提高是很有帮助的。笔者在实际工作中总结了两种阅读JDK源码的方式。第一种下载android源代码,直接在android源码代码中,这里的代码虽然不是标准的JDK源码,但是也很不…

pip install 时报错 ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问(已解决)

pip install 时报错 ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问(已解决) 这是报错截图: 解决方案如下: 在pip install 后面加上 --user 需要安装的包名 例如: pip inst…

linux取消中文网,SELinux如何关闭

SELinux如何关闭1、临时关闭SELinuxsetenforce 0 ##设置SELinux 成为permissive模式##setenforce 1 设置SELinux 成为enforcing模式2、永久关闭SELinux修改/etc/selinux/config 文件将SELINUXenforcing改为SELINUXdisabled,重启机器。3、查看SELinux状态◆ /usr/sbi…

LeetCode 2109. 向字符串添加空格

文章目录1. 题目2. 解题1. 题目 给你一个下标从 0 开始的字符串 s ,以及一个下标从 0 开始的整数数组 spaces 。 数组 spaces 描述原字符串中需要添加空格的下标。每个空格都应该插入到给定索引处的字符值 之前 。 例如,s "EnjoyYourCoffee&quo…

炒房客共识:深圳楼市要撑不住了

10月11日,深圳气温不足20度。位于罗湖区“锦缘里”项目首次开盘,与此前几个月深圳开盘疯狂的场景不同,这个准备了5年的楼盘首期推出100多套精装房,但却只吸引了上百个带着客户的中介,现场中介多过购房者,这…

Packet Tracer 通过配置静态路由实现不同网段之间的通信(详细步骤)

Packet Tracer 通过配置静态路由实现不同网段之间的通信(详细步骤) 一、目标:ping通四个网段 二、解决方法:配置静态路由 1.拓扑结构布线图如下所示: 注意:这里省略了为每台PC配置IP地址 和 相对应的默认…

关于二叉树的程序 c语言,请教关于建立二叉树程序(c语言的)

dsd。cppC:Documents and SettingsAdministrator桌面dsd。cpp(21) : error C2664: Init : cannot convert parameter 1 from struct node * to Tree *Types pointed to are unrelated; conversion requires reinterpret_cast, C-style cast or function-style castC:Documents …

LeetCode 2110. 股票平滑下跌阶段的数目(滑动窗口)

文章目录1. 题目2. 解题1. 题目 给你一个整数数组 prices ,表示一支股票的历史每日股价,其中 prices[i] 是这支股票第 i 天的价格。 一个 平滑下降的阶段 定义为:对于 连续一天或者多天 ,每日股价都比 前一日股价恰好少 1 &…

教你遇事最有水平的处理方法

1 、学会沉默(如果他只是想拿你撒气) 有时候,你被人误解,你不想争辩,所以选择沈默。本来就不是所有的人都得了解你,因此你认为不必对全世界喊话。却也有时候,你被最爱的人误解,你难过…

JavaScript + Audio API自制简易音乐播放器(详细完整版、小白都能看懂)

JavaScript Audio API自制简易音乐播放器(详细完整版) ** 音乐播放器的功能清单如下: ** 1.点击暂停按钮,歌曲暂停 2.点击播放按钮,歌曲播放 3.单曲循环与取消单曲循环 4.当播放到列表最后一首歌曲时,点…

C语言成绩统计摘要,C语言学生信息管理系统(完整版)摘要.docx

电子科技大学成都学院程序综合设计论文论文题目 学生信息管理系统 学生姓名 魏国 学 号 1340840625 专  业 机械设计制造及其自动化 系(分院) 电子工程系 授课教师 杜娥2015年12月制摘要随着经济的发展,社会的进步,计算机越来越深入到我们日常的工作学…