在我们迈向中高级出局数据分析的过程中,数据的合并和连接,是一个非常重要的技能。
现实中,分散在各种数据库,各种数据表格,各种数据存储设备当中的,各式各样的数据,是我们进行数据分析的基础,也是数据获取部分,需要对数据进行整合的根基。
在今天的文章中,我们先来看,如何使用concat()函数,对多个数据集进行连接,以及合并操作。
多个dataframe数据集的合并(纵向合并)
这里的纵向合并,指的是把多个原始数据集,从上到下,按照数据行进行排列,依次合并。
我们先来看,如何把多个dataframe数据集,合并起来,成为一个新的数据集。
合并过程,如下图所示。
先生成三个dataframe原始数据集,首先是df1
接着是df2
还有df3
最后,使用concat()函数,合并三个数据集,得到我们的结果数据集result。
注意这里的合并,是通过第一列,索引列进行顺序排列合并的。
使用使用concat()函数合并数据,方法虽然简单,但实际用处却很大。在一些结果相同,但是比较分散的原始数据当中,我们拿到数据之后,如果要对数据整体进行分析的话,就需要先把数据合并起来。
传统手工做法是,通过Excel复制粘贴的方式,合并数据。这种做法,容易出错,而且效率比较低。如果是海量的大数据的话,传统的Excel手工操作方式,是无法完成数据的合并操作的,只能够使用concat()函数进行合并。
多个dataframe数据集的合并(横向合并)
横向合并的话,指的是多个数据集,从左到右,按照数据列进行排列,依次合并。
数据合并过程,如下图所示。
生成df4数据集
把df1和df4合并
这里要注意,把axis属性设置为1的话,就是横向合并。默认的情况下,不设置axis属性,是纵向合并。原始数据集中,没有的索引列中的数据,在合并之后,用空值字符串NaN代替。
如果我们只想合并两个数据集中,都有的索引行的话,可以如下图操作。
实现的方式,只要把join属性参数,设置为inner即可。
这样,我们就可以只合并,两个数据集中,索引值相同的行。
比如说,我们的个人信息,可能分散在不同的数据表当中,我们就可以通过身份证号这个索引值,对我们的个人信息进行合并,形成一个完整的个人信息数据集。
如果我们不希望按照索引来合并数据的话,可以参照下图中的方式
代码实现如下
这种合并方式,通过设置ignore_index参数的值为True,就会忽略df1和df4数据集的索引,全部按照行和列的顺序,把数据合并在一起。合并完成后的新数据集,会重新分配一个新的索引。
以上内容,就是使用concat()函数合并数据集的第一部分。下一篇文章,我们会继续介绍concat()函数合并数据集的第二部分内容。