pandas指南:做更高效的数据科学家

Python是开源的,所以有很多开源固有的问题。如果你是Python新手,很难知道针对特定任务的包哪个是最好的。你需要有经验的人来告诉你。今天我要告诉你们的是:在数据科学中,有一个软件包是你们绝对需要学习的,那就是pandas。

 

而pandas真正有趣的地方是,很多其他的包也在里面。pandas是一个核心包,因此它具有来自其他各种包的特性。

pandas类似于Python中的Excel:它使用表(即DataFrame)并对数据进行转换,但它还能做更多。

如果你已经熟悉Python,可以直接进入第三部分

现在让我们开始:

<span style="color:#f8f8f2"><code class="language-none">import pandas as pd</code></span>

pandas包最基本的功能

1、读取数据:

<span style="color:#f8f8f2"><code class="language-none">data = pd.read_csv('my_file.csv')data=pd.read_csv('my_file.csv',sep=';',encoding='latin-1',nrows=1000, kiprows=[2,5])
</code></span>

sep变量代表分隔符。因为Excel中的csv分隔符是“;”,因此需要显示它。编码设置为“latin-1”以读取法语字符。nrows=1000表示读取前1000行。skiprows=[2,5]表示在读取文件时将删除第2行和第5行

最常用的函数:read_csv, read_excel

还有一些很不错的函数:read_clipboard、read_sql

2、写入数据

<span style="color:#f8f8f2"><code class="language-none">data.to_csv('my_new_file.csv', index=None)</code></span>

index=None将简单地按原样写入数据。如果你不写index=None,得到额外的行。

我通常不使用其他函数,比如to_excel,to_json,to_pickle,to_csv,虽然它们也做得很好,但是csv是保存表最常用的方法。

3、检查数据:

<span style="color:#f8f8f2"><code class="language-none">data.shapedata.describe()data.head(3)</code></span>

.head(3)打印数据的前3行.tail()函数将查看数据的最后一行。

<span style="color:#f8f8f2"><code class="language-none">data.loc[8]</code></span>

打印第8行

<span style="color:#f8f8f2"><code class="language-none">data.loc[8, 'column_1']
</code></span>

将第8行值打印在“column_1”上

<span style="color:#f8f8f2"><code class="language-none">data.loc[range(4,6)]
</code></span>

打印第4行到第6行

pandas的初级功能

1、逻辑运算

<span style="color:#f8f8f2"><code class="language-none">data[data['column_1']=='french']data[(data['column_1']=='french') & (data['year_born']==1990)]data[(data['column_1']=='french')&(data['year_born']==1990)&(data['city']=='London')]
</code></span>

如果根据逻辑操作对数据进行运算,使用& (AND)、~ (NOT)和| (OR)逻辑操作之前和之后添加“(”&“)”。

<span style="color:#f8f8f2"><code class="language-none">data[data['column_1'].isin(['french', 'english'])]
</code></span>

不要为同一列编写多个OR,最好是使用.isin()函数

2、基本绘图

多亏了matplotlib包,这个特性才得以实现。就像我们在介绍中说的,它可以直接用在pandas身上。

<span style="color:#f8f8f2"><code class="language-none">data['column_numerical'].plot()
</code></span>

<span style="color:#f8f8f2"><code class="language-none">data['column_numerical'].hist()
</code></span>

绘制分布图(直方图)

<span style="color:#f8f8f2"><code class="language-none">%matplotlib inline
</code></span>

如果你使用Jupyter,在绘图之前,不要忘记写这一行(在代码中只写一次)

3、更新数据

<span style="color:#f8f8f2"><code class="language-none">data.loc[8, 'column_1'] = 'english'
</code></span>

将' column_1 '的第8行值替换为' english '

<span style="color:#f8f8f2"><code class="language-none">data.loc[data['column_1']=='french', 'column_1'] = 'French'
</code></span>

在一行中更改多行值

3、pandas的中级功能

现在你可以做一些在Excel中很容易做的事情。让我们来挖掘一些在Excel中做不到的神奇事情。

1、计算功能

<span style="color:#f8f8f2"><code class="language-none">data['column_1'].value_counts()
</code></span>

2、对全行、全列或所有数据的操作

<span style="color:#f8f8f2"><code class="language-none">data['column_1'].map(len)
</code></span>

len()函数应用于“column_1”的每个元素

map()操作将一个函数应用于列的每个元素。

<span style="color:#f8f8f2"><code class="language-none">data['column_1'].map(len).map(lambda x : x/100).plot()
</code></span>

pandas一个特点是进行链式操作。它可以帮助你在一行代码中执行多个操作,从而更加简单和高效

<span style="color:#f8f8f2"><code class="language-none">data.apply(sum)
</code></span>

.apply()将函数应用于列。

.applymap()将一个函数应用于表(DataFrame)中的所有单元格。

3、tqdm包

在处理大型数据集时,pandas可能需要一些时间来运行.map()、.apply()、.applymap()操作。tqdm是一个非常有用的包,它可以帮助预测这些操作何时完成。

<span style="color:#f8f8f2"><code class="language-none">from tqdm import tqdm_notebooktqdm_notebook().pandas()
</code></span>

用pandas设置tqdm

<span style="color:#f8f8f2"><code class="language-none">data['column_1'].progress_map(lambda x : x.count('e'))
</code></span>

将.map()替换为.progress_map(),.apply()和.applymap()也是一样

96d484d4f3e44422b9f242aec89895cd23fe6649 

图4 这是你在Jupyter上看到的的进度条

4、相关矩阵和散射矩阵

<span style="color:#f8f8f2"><code class="language-none">data.corr()data.corr().applymap(lambda x : int(x*100)/100)</code></span>

<span style="color:#f8f8f2"><code class="language-none">pd.plotting.scatter_matrix(data, figsize=(12,8))
</code></span>

pandas的高级功能

1ã行列合并

在pandas中,行列合并非常简单。

<span style="color:#f8f8f2"><code class="language-none">data.merge(other_data, on=['column_1', 'column_2', 'column_3'])
</code></span>

合并3列只需要一行代码

2、分组

分组一开始并不简单,但是如果掌握其语法,你将发现这非常简单。

<span style="color:#f8f8f2"><code class="language-none">data.groupby('column_1')['column_2'].apply(sum).reset_index()
</code></span>

按列分组,选择要在其上操作函数的另一列。reset_index()将数据重新生成DataFrame(表)

3、遍历行

<span style="color:#f8f8f2"><code class="language-none">dictionary = {}for i,row in data.iterrows():dictionary[row['column_1']] = row['column_2']
</code></span>

iterrows()循环两个变量:行索引和行(上面代码中的i和row)。

总体来说,pandas是一个帮助数据科学家快速阅读和理解数据的工具包,它也可以说是Python如此优秀的原因之一。我还可以展示更多pandas包其他有趣的特点,但以上所述足以让人理解为什么数据科学家离不开pandas包。总之,pandas包有以下特点:

1、 简单易用,隐藏了所有复杂和抽象的计算;

2、非常直观;

3、快速。

 

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/519888.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java实现zip压缩文件(同一文件夹下的多个文件夹打成一个zip包)

这2个工具类都推荐使用统一个场景的不通过写法 推荐第一种 package com.gblfy.test;import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.util.zip.CRC32; import java.util.zip.Checke…

计算机操作与规范,电脑操作基本知识(精华版)

一、快速操作规程操作五招1、按“Alt”键然后用鼠标双击文件或文件夹即可快速打开其属性。2、双击程序窗口的标题栏&#xff0c;窗口可在最大化与常规之间快速变换3、按键(或)即可快速把文件或文件夹不用进“回收站”而直接删除。4、用鼠标左键拖动文件到桌面&#xff0c;即可在…

一位技术校招生在支付宝的成长笔记

哪有那么多的“逆袭”&#xff0c;唯有努力与坚持&#xff0c;机会就会在前方。 鲁直&#xff0c;1989年生&#xff0c;本科毕业于浙江工业大学&#xff0c;之后被校招进阿里巴巴。虽然&#xff0c;今年刚刚30岁&#xff0c;但他已是蚂蚁金服SOFA中间件开源负责人。 看到这个开…

NVIDIA向交通运输行业开源其自动驾驶汽车深度神经网络

NVIDIA今日宣布&#xff0c;在NVIDIA GPU Cloud (NGC)容器注册上&#xff0c;向交通运输行业开源NVIDIA DRIVE™自动驾驶汽车开发深度神经网络。 NVIDIA DRIVE已成为自动驾驶汽车开发的行业标准&#xff0c;并且被汽车制造商、卡车制造商、自动驾驶出租车公司、软件公司和大学…

java.sql.SQLException: ORA-01691: Lob 段 SONARQUBE2.SYS_LOB0000119128C00008$$ 无法通过 128 (在表空间 USERS 中

文章目录一、场景浮现1. 问题详情2. 问题描述3. 问题原因二、解决方案2.1. 查看表空间的名字及文件在哪2.2. 查询表空间使用情况2.3. 解决方法一、场景浮现 1. 问题详情 2. 问题描述 java.sql.SQLException: ORA-01691: Lob 段 SONARQUBE2.SYS_LOB0000119128C00008$$ 无法通过…

计算机2级什么时间考,全国计算机2级考试什么时间出成绩单

2019-06-20 01:27齐新伟查分时间有关成绩查询的具体事宜&#xff1a;1、全国计算机等级考试的成绩将在考后约45-90天内得到成绩(不同地区公布成绩的时间将有所差异)&#xff0c;查询方法有声讯电话(快、收费)、考点成绩单报送(慢、免费)、网上查询(部分省市开通&#xff0c;快&…

开发函数计算的正确姿势 —— 安装第三方依赖

前言 首先介绍下在本文出现的几个比较重要的概念&#xff1a; 函数计算&#xff08;Function Compute&#xff09;: 函数计算是一个事件驱动的服务&#xff0c;通过函数计算&#xff0c;用户无需管理服务器等运行情况&#xff0c;只需编写代码并上传。函数计算准备计算资源&am…

终于等到你!阿里正式向 Apache Flink 贡献 Blink 源码

阿里妹导读&#xff1a;如同我们去年12月在 Flink Forward China 峰会所约&#xff0c;阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源。今天&#xff0c;我们终于等到了这一刻。 阿里资深技术专家大沙&#xff0c;将为大家详细介绍本次开源的Blink主要功能和优化…

Oracle 表空间常用sql

--查询表空间使用情况 select a.tablespace_name,a.bytes / 1024 / 1024 "sum MB",(a.bytes - b.bytes) / 1024 / 1024 "used MB",b.bytes / 1024 / 1024 "free MB",round(((a.bytes - b.bytes) / a.bytes) * 100, 2) "used%"from (se…

五省竞赛计算机作品,关于征集2017年华北五省(市、自治区)及港澳台大学生计算机应用大赛河北赛区竞赛作品的通知...

原标题&#xff1a;关于征集2017年华北五省(市、自治区)及港澳台大学生计算机应用大赛河北赛区竞赛作品的通知学校各单位、各位老师们&#xff1a;为深入贯彻落实《国家中长期教育改革和发展规划纲要》(2010-2020年)和教育部《关于全面提高高等教育质量的若干意见》(教高[2012]…

Auto-Keras与AutoML:入门指南

在本教程中&#xff0c;你将学习如何使用Auto-Keras&#xff08;Google的AutoML的开源替代品&#xff09;来实现自动化机器学习和深度学习。 目前来说&#xff0c;深度学习从业者在数据集上训练神经网络时&#xff0c;主要正在尝试优化和平衡两个目标&#xff1a; 1.定义适合…

java实现遍历文件夹下的文件及文件夹

package com.gblfy.test;import java.io.File; import java.util.ArrayList; import java.util.LinkedList; import java.util.List;/*** 文件常用工具类** author gblfy* description FileUtil* date 2020/07/03 17:05*/ public class FileUtil {/*** 遍历目录下面的文件夹和文…

TensorFlow 2.0深度强化学习指南

在本教程中&#xff0c;我将通过实施Advantage Actor-Critic(演员-评论家&#xff0c;A2C)代理来解决经典的CartPole-v0环境&#xff0c;通过深度强化学习&#xff08;DRL&#xff09;展示即将推出的TensorFlow2.0特性。虽然我们的目标是展示TensorFlow2.0&#xff0c;但我将尽…

互联网诞生记: 浪成于微澜之间

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者 | 老姜出品 | CSDN云计算&#xff08;ID&#xff1a;CSDNcloud&#xff09;“我早就预言了互联网。1975年&#xff0c;所有的技术都已经准备好了&#xff1b;1985年&#xff0c;所有的技术都应该很平常了&#xff1b;而直到199…

20丨8年哈工程计算机专业录取分数线多少,双一流211大学 哈尔滨工程大学2020年各省各专业录取分数线...

哈尔滨工程大学是国家重点大学&#xff0c;也是国家211、双一流大学&#xff0c;其最早前身是中国人民解放军军事工程学院(哈军工)&#xff0c;后面的陆续建设也是保留并深入发展了军工相关专业&#xff0c;目前以该类专业为优势和特色。2020年高考哈尔滨工程大学面向全国各省市…

java 批量为图片添加图标水印和文字水印

需求&#xff0c;给指定目录下面以.jpg结尾的文件&#xff0c;添加图标水印和文字水印 文章目录一、基础版本二、升级版本三、依赖一、基础版本 package com.gblfy.util;import com.sun.image.codec.jpeg.JPEGCodec; import com.sun.image.codec.jpeg.JPEGImageEncoder;import…

“有趣”的投影:当PCA失效时怎么办?

目前&#xff0c;大多数的数据科学家都比较熟悉主成分分析 (Principal Components Analysis&#xff0c;PCA)&#xff0c;它是一个探索性的数据分析工具。可以这样简要的描述&#xff1a;研究人员经常使用PCA来降低维度&#xff0c;希望在他们的数据中找出有用的信息&#xff0…

线程最最基础的知识

戳蓝字“CSDN云计算”关注我们哦&#xff01;什么是线程试想一下没有线程的程序是怎么样的&#xff1f;百度网盘在上传文件时就无法下载文件了&#xff0c;得等文件上传完成后才能下载文件。这个我们现在看起来很反人性&#xff0c;因为我们习惯了一个程序同时可以进行运行多个…

特征工程自动化如何为机器学习带来重大变化

随着技术的快速发展&#xff0c;在数据科学领域中&#xff0c;包括库、工具和算法等总会不断地变化的。然而&#xff0c;一直都有这么一个趋势&#xff0c;那就是自动化水平不断地提高。 近些年来&#xff0c;在模型的自动化选择和超参数调整方面取得了一些进展&#xff0c;但…

工作组访问不到别人的计算机,众果搜的博客

常见问题&#xff1a;A 在网上邻居列表中找不到目标计算机。B 在网上邻居列表能找到&#xff0c;但却访问不了。C 以UNC路径能访问&#xff0c;但在网上邻居列表中却找不到。1、网上邻居列表的维护依赖于浏览服务(Computer Browers)&#xff0c;计算机通过广播方式登记到浏览器…