python concat_python中merge、concat用法

转载:https://blog.csdn.net/ly_ysys629/article/details/73849543

参考:https://blog.csdn.net/stevenkwong/article/details/52540605

数据规整化:合并、清理、过滤

pandas和python标准库提供了一整套高级、灵活的、高效的核心函数和算法将数据规整化为你想要的形式!

本篇博客主要介绍:

合并数据集:.merge()、.concat()等方法,类似于SQL或其他关系型数据库的连接操作。

合并数据集

1) merge 函数参数

参数说明

left

参与合并的左侧DataFrame

right

参与合并的右侧DataFrame

how

连接方式:‘inner’(默认);还有,‘outer’、‘left’、‘right’

on

用于连接的列名,必须同时存在于左右两个DataFrame对象中,如果位指定,则以left和right列名的交集作为连接键

left_on

左侧DataFarme中用作连接键的列

right_on

右侧DataFarme中用作连接键的列

left_index

将左侧的行索引用作其连接键

right_index

将右侧的行索引用作其连接键

sort

根据连接键对合并后的数据进行排序,默认为True。有时在处理大数据集时,禁用该选项可获得更好的性能

suffixes

字符串值元组,用于追加到重叠列名的末尾,默认为(‘_x’,‘_y’).例如,左右两个DataFrame对象都有‘data’,则结果中就会出现‘data_x’,‘data_y’

copy

设置为False,可以在某些特殊情况下避免将数据复制到结果数据结构中。默认总是赋值

1、多对一的合并(一个表的连接键列有重复值,另一个表中的连接键没有重复值)

import pandas as pd

import numpy as np

df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1': range(7)})

df1

1

2

3

4

5

6

data1key

0

0

b

1

1

b

2

2

a

3

3

c

4

4

a

5

5

a

6

6

b

df2 = pd.DataFrame({'key':['a','b','d'],'data2':range(3)})

df2

1

2

3

data2key

0

0

a

1

1

b

2

2

d

pd.merge(df1,df2)#默认情况

1

data1keydata2

0

0

b

1

1

1

b

1

2

6

b

1

3

2

a

0

4

4

a

0

5

5

a

0

df1.merge(df2)

1

data1keydata2

0

0

b

1

1

1

b

1

2

6

b

1

3

2

a

0

4

4

a

0

5

5

a

0

df1.merge(df2,on = 'key',how = 'inner')#内连接,取交集

1

data1keydata2

0

0

b

1

1

1

b

1

2

6

b

1

3

2

a

0

4

4

a

0

5

5

a

0

df1.merge(df2,on = 'key',how = 'outer')#外链接,取并集,并用nan填充

1

data1keydata2

0

0.0

b

1.0

1

1.0

b

1.0

2

6.0

b

1.0

3

2.0

a

0.0

4

4.0

a

0.0

5

5.0

a

0.0

6

3.0

c

NaN

7

NaN

d

2.0

df1.merge(df2,on = 'key',how = 'left')#左连接,左侧DataFrame取全部,右侧DataFrame取部分

1

data1keydata2

0

0

b

1.0

1

1

b

1.0

2

2

a

0.0

3

3

c

NaN

4

4

a

0.0

5

5

a

0.0

6

6

b

1.0

df1.merge(df2,on = 'key',how = 'right')#右连接,右侧DataFrame取全部,左侧DataFrame取部分

1

data1keydata2

0

0.0

b

1

1

1.0

b

1

2

6.0

b

1

3

2.0

a

0

4

4.0

a

0

5

5.0

a

0

6

NaN

d

2

如果左右侧DataFrame的连接键列名不一致,但是取值有重叠,可使用left_on、right_on来指定左右连接键

df3 = pd.DataFrame({'lkey':['b','b','a','c','a','a','b'],'data1': range(7)})

df3

1

2

3

data1lkey

0

0

b

1

1

b

2

2

a

3

3

c

4

4

a

5

5

a

6

6

b

df4 = pd.DataFrame({'rkey':['a','b','d'],'data2':range(3)})

df4

1

2

3

data2rkey

0

0

a

1

1

b

2

2

d

df3.merge(df4,left_on = 'lkey',right_on = 'rkey',how = 'inner')

1

data1lkeydata2rkey

0

0

b

1

b

1

1

b

1

b

2

6

b

1

b

3

2

a

0

a

4

4

a

0

a

5

5

a

0

a

2、多对多的合并(一个表的连接键列有重复值,另一个表中的连接键有重复值)

df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1': range(7)})

df1

1

2

3

data1key

0

0

b

1

1

b

2

2

a

3

3

c

4

4

a

5

5

a

6

6

b

df5 = pd.DataFrame({'key':['a','b','a','b','b'],'data2': range(5)})

df5

1

2

data2key

0

0

a

1

1

b

2

2

a

3

3

b

4

4

b

df1.merge(df5)

1

data1keydata2

0

0

b

1

1

0

b

3

2

0

b

4

3

1

b

1

4

1

b

3

5

1

b

4

6

6

b

1

7

6

b

3

8

6

b

4

9

2

a

0

10

2

a

2

11

4

a

0

12

4

a

2

13

5

a

0

14

5

a

2

合并小结

1)默认情况下,会将两个表中相同列名作为连接键

2)多对多,会采用笛卡尔积形式链接(左表连接键有三个值‘1,3,5’,右表有两个值‘2,3’,则会形成,(1,2)(1,3)(3,1),(3,2)。。。6种组合)

3)存在多个连接键的处理

left = pd.DataFrame({'key1':['foo','foo','bar'],'key2':['one','one','two'],'lval':[1,2,3]})

right = pd.DataFrame({'key1':['foo','foo','bar','bar'],'key2':['one','one','one','two'],'rval':[4,5,6,7]})

1

2

3

4

left

1

key1key2lval

0

foo

one

1

1

foo

one

2

2

bar

two

3

right

1

key1key2rval

0

foo

one

4

1

foo

one

5

2

bar

one

6

3

bar

two

7

pd.merge(left,right,on = ['key1','key2'],how = 'outer')

1

key1key2lvalrval

0

foo

one

1.0

4

1

foo

one

1.0

5

2

foo

one

2.0

4

3

foo

one

2.0

5

4

bar

two

3.0

7

5

bar

one

NaN

6

1)连接键是多对多关系,应执行笛卡尔积形式

2)多列应看连接键值对是否一致

4)对连接表中非连接列的重复列名的处理

pd.merge(left,right,on = 'key1')

1

key1key2_xlvalkey2_yrval

0

foo

one

1

one

4

1

foo

one

1

one

5

2

foo

one

2

one

4

3

foo

one

2

one

5

4

bar

two

3

one

6

5

bar

two

3

two

7

pd.merge(left,right,on = 'key1',suffixes = ('_left','_right'))

1

key1key2_leftlvalkey2_rightrval

0

foo

one

1

one

4

1

foo

one

1

one

5

2

foo

one

2

one

4

3

foo

one

2

one

5

4

bar

two

3

one

6

5

bar

two

3

two

7

2)索引上的合并

当连接键位于索引中时,成为索引上的合并,可以通过merge函数,传入left_index、right_index来说明应该被索引的情况。

一表中连接键是索引列、另一表连接键是非索引列

left1 = pd.DataFrame({'key':['a','b','a','a','b','c'],'value': range(6)})

left1

1

2

keyvalue

0

a

0

1

b

1

2

a

2

3

a

3

4

b

4

5

c

5

right1 = pd.DataFrame({'group_val':[3.5,7]},index = ['a','b'])

right1

1

2

group_val

a

3.5

b

7.0

pd.merge(left1,right1,left_on = 'key',right_index = True)

1

keyvaluegroup_val

0

a

0

3.5

2

a

2

3.5

3

a

3

3.5

1

b

1

7.0

4

b

4

7.0

有上可知,left_on、right_on是指定表中非索引列为连接键,left_index、right_index是指定表中索引列为连接键,两者可以组合,是为了区分是否是索引列

两个表中的索引列都是连接键

left2 = pd.DataFrame(np.arange(6).reshape(3,2),index = ['a','b','e'],columns = ['0hio','nevada'])

right2 = pd.DataFrame(np.arange(7,15).reshape(4,2),index = ['b','c','d','e'],columns = ['misso','ala'])

left2

1

2

3

4

5

0hionevada

a

0

1

b

2

3

e

4

5

right2

1

missoala

b

7

8

c

9

10

d

11

12

e

13

14

pd.merge(left2,right2,left_index = True,right_index = True,how = 'outer')

1

0hionevadamissoala

a

0.0

1.0

NaN

NaN

b

2.0

3.0

7.0

8.0

c

NaN

NaN

9.0

10.0

d

NaN

NaN

11.0

12.0

e

4.0

5.0

13.0

14.0

3)轴向连接

在这里展示一种新的连接方法,对应于numpy的concatenate函数,pandas有concat函数

#numpy

arr =np.arange(12).reshape(3,4)

1

2

arr

1

array([[ 0, 1, 2, 3],

[ 4, 5, 6, 7],

[ 8, 9, 10, 11]])

1

2

3

4

np.concatenate([arr,arr],axis = 1)#横轴连接块

1

array([[ 0, 1, 2, 3, 0, 1, 2, 3],

[ 4, 5, 6, 7, 4, 5, 6, 7],

[ 8, 9, 10, 11, 8, 9, 10, 11]])

1

2

3

4

concat函数参数表格

参数说明

objs

参与连接的列表或字典,且列表或字典里的对象是pandas数据类型,唯一必须给定的参数

axis=0

指明连接的轴向,0是纵轴,1是横轴,默认是0

join

‘inner’(交集),‘outer’(并集),默认是‘outer’指明轴向索引的索引是交集还是并集

join_axis

指明用于其他n-1条轴的索引(层次化索引,某个轴向有多个索引),不执行交并集

keys

与连接对象有关的值,用于形成连接轴向上的层次化索引(外层索引),可以是任意值的列表或数组、元组数据、数组列表(如果将levels设置成多级数组的话)

levels

指定用作层次化索引各级别(内层索引)上的索引,如果设置keys的话

names

用于创建分层级别的名称,如果设置keys或levels的话

verify_integrity

检查结果对象新轴上的重复情况,如果发横则引发异常,默认False,允许重复

ignore_index

不保留连接轴上的索引,产生一组新索引range(total_length)

s1 = pd.Series([0,1,2],index = ['a','b','c'])

s2 = pd.Series([2,3,4],index = ['c','f','e'])

s3 = pd.Series([4,5,6],index = ['c','f','g'])

1

2

3

4

5

pd.concat([s1,s2,s3])#默认并集、纵向连接

1

a 0 b 1 c 2 c 2 f 3 e 4 c 4 f 5 g 6 dtype: int64

pd.concat([s1,s2,s3],ignore_index = True)#生成纵轴上的并集,索引会自动生成新的一列

1

0 0 1 1 2 2 3 2 4 3 5 4 6 4 7 5 8 6 dtype: int64

pd.concat([s1,s2,s3],axis = 1,join = 'inner')#纵向取交集,注意该方法对对象表中有重复索引时失效

1

012

c

2

2

4

pd.concat([s1,s2,s3],axis = 1,join = 'outer')#横向索引取并集,纵向索引取交集,注意该方法对对象表中有重复索引时失效

1

012

a

0.0

NaN

NaN

b

1.0

NaN

NaN

c

2.0

2.0

4.0

e

NaN

4.0

NaN

f

NaN

3.0

5.0

g

NaN

NaN

6.0

concat函数小结

1)纵向连接,ignore_index = False ,可能生成重复的索引

2)横向连接时,对象索引不能重复

4)合并重叠数据

适用范围:

1)当两个对象的索引有部分或全部重叠时

2)用参数对象中的数据为调用者对象的缺失数据‘打补丁’

a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],index = ['a','b','c','d','e','f'])

b = pd.Series(np.arange(len(a)),index = ['a','b','c','d','e','f'])

1

2

3

a

1

a NaN

b 2.5

c NaN

d 3.5

e 4.5

f NaN

dtype: float64

1

2

3

4

5

6

7

8

b

1

a 0

b 1

c 2

d 3

e 4

f 5

dtype: int32

1

2

3

4

5

6

7

8

a.combine_first(b)#利用b填补了a的空值

1

a 0.0

b 2.5

c 2.0

d 3.5

e 4.5

f 5.0

dtype: float64

1

2

3

4

5

6

7

8

a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,np.nan],index = ['g','b','c','d','e','f'])

1

a.combine_first(b)#部分索引重叠

1

a 0.0

b 2.5

c 2.0

d 3.5

e 4.5

f 5.0

g NaN

dtype: float64

1

2

3

4

5

6

7

8

9

小结

本篇博客主要讲述了一下内容:

1) merge函数合并数据集

2)concat函数合并数据集

3)combine_first函数,含有重叠索引的缺失值填补

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/370656.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue使用axios无法读取data的解决办法

今天发现Vue中使用了axios后,then方法中无法读取到data中的数据了,总是提示 Cannot set property xxx of undefined 上网找了一圈后发现了一下解决方法。 解决办法1: methods:{tap:function(){var selfthis;axios.get(xxxxxx).then(function(…

设置博客园标题样式

1.向博客园申请js权限 我们需要进入博客园自定义博客模板的页面,向博客园管理团队申请页面运行js的权限。【博客园】->【设置】->【博客设置】,点击页面上的js权限申请,然后填写申请的理由,耐心等几分钟,再刷新一…

Spring 3.1 –从数据库加载XML配置的属性

Spring使通过其PropertyPlaceholderConfigurer和(Spring 3.1之前)PropertySourcesPlaceholderConfigurer(Spring 3.1)从属性文件中获取的值易于注入。 这些类实现了BeanFactoryPostProcessor接口,该接口使它们能够在初…

如何判断PHP 是线程安全还是非线程安全的

什么是线程安全与非线程安全? 线程安全就是在多线程环境下也不会出现数据不一致,而非线程安全就有可能出现数据不一致的情况。 线程安全由于要确保数据的一致性,所以对资源的读写进行了控制,换句话说增加了系统开销。所以在单线程…

关联查询mysql_《MySQL数据库》关联查询

原标题:《MySQL数据库》关联查询一、关联查询1、概念在查询数据时,所需要的数据不只在一张表中,可能在两张或多张表中。这个时候,需要同时操作这些表来查询数据,即关联查询。关联查询所涉及到的表与表之间都会存在有关…

python语言语块句的标记_《自然语言处理理论与实战》

编辑推荐 1.讲解自然语言处理的理论 2.案例丰富,实战性强 3.适合自然语言处理学习的入门者 内容提要 自然语言处理是什么?谁需要学习自然语言处理?自然语言处理在哪些地方应用?相关问题一直困扰着不少初学者。针对这一情况&#x…

NOIP2017年11月9日赛前模拟

最后一次NOIP模拟了 题目1:回文数字 Tom 最近在研究回文数字。  假设 s[i] 是长度为 i 的回文数个数(不含前导0),则对于给定的正整数 n 有: 以上等式中最后面的括号是布尔表达式,Tom 想知道S[n] mod 2333…

height百分比失效

heigh:100%失效 解决方案: 第一种 html, body { height: 100%; } 第二种 div { height: 100%; position: absolute; } 非定位元素的宽高百分比计算不会将 padding 计算在内,而定位元素会计算在内。 利用这个特性可以实现图片左右半区点击分别上一张图…

Java堆空间,本机堆和内存问题

最近,我在和一个朋友讨论为什么Java进程使用的内存比启动Java进程时设置的最大堆多。 代码创建的所有Java对象都是在Java堆空间内创建的,其大小由-Xmx选项定义。 但是一个Java进程由很多空间组成,而不仅仅是Java堆空间。 以下是组成Java进程…

mysql视图表怎么设置约束_MySQL一一sql的视图、索引、约束

一、视图本质上相当于一张**“虚拟表”**,可当作独立的一张表进行操作(增、删、改、查)** 作用:**** a)**可通过权限控制,只将“表中的少数列”暴露给数据库用户,而不让该用户直接操纵数据库中“实际表”** b)**…

Software Development Life Cycle

转载于:https://www.cnblogs.com/genezhao/p/6879848.html

python中 的用法_详解python中@的用法

python中的用法 是一个装饰器,针对函数,起调用传参的作用。 有修饰和被修饰的区别,function作为一个装饰器,用来修饰紧跟着的函数(可以是另一个装饰器,也可以是函数定义)。 代码1 结果1 Its fun…

ArrayAndString(数组和字符串)

1.实现一个算法,确定一个字符串的所有字符是否全都不同。假使不允许使用额外的数据结构,又该怎么处理? public class UniqueChars {public static void main(String[] args) {// TODO Auto-generated method stubString string "abcdef…

MyBatis教程– CRUD操作和映射关系–第2部分

为了说明这一点,我们正在考虑以下示例域模型: 会有用户,每个用户可能都有一个博客,每个博客可以包含零个或多个帖子。 这三个表的数据库结构如下: CREATE TABLE user (user_id int(10) unsigned NOT NULL auto_incr…

position 的属性值

理论上来说,全部 position 的取值有8个 包括:position:static | relative | absolute | fixed | sticky | initial | inherit | unset 其中最常用的是 static 、relative、absolute、fixed 和 sticky initial、inherit、unset 是css的关键…

[ JavaScript ] JavaScript 实现继承.

对于javascript中的继承,因为js中没有后端语言中的类式继承。所以js中的继承,一般都是原型继承(prototype)。 function P (name){this.name name;this.say function(){console.log(p);} }function S (name,id){this.id id;this.eat function(){conso…

mysql数据库应用的权限层级_MySQL数据库的用户权限管理

嗨!各位小伙伴今天翻了一下历史记录MySQL 数据库还有点内容今天开始我们就来补上吧~用户权限管理伙伴们要知道,在数据库方面有两个方向。一个是数据库管理员(Database Administrator)简称DBA,一个是数据库开发工程师(Database Developer)&…

linux i2c adapter 增加设备_Linux驱动之I2C驱动架构

一、Linux的I2C体系结构主要由三部分组成:(1) I2C核心提供I2C控制器和设备驱动的注册和注销方法,I2C通信方法,与适配器无关的代码以及探测设备等。(2) I2C控制器驱动(适配器)(3) I2C设备驱动二、重要的结构体i2c_adapter//i2c控制器(适配器)i…

Alpha-end

前言 失心疯病源10团队代码管理github个人感悟 肝不动了,肝不动了。明天如果见不到我,不要太想我。站立会议 队名:PMS530雨勤(组长) 今天完成了那些任务 熬夜肝代码代码签入github明天的计划 肝到凌晨还剩下哪些任务 团…

html 01前沿-web介绍

1. 认识网页 网页主要由文字、图像和超链接等元素构成。当然,除了这些元素,网页中还可以包含音频、视频以及Flash等。 2. 浏览器(显示代码) 浏览器是网页显示、运行的平台,常用的浏览器有IE、火狐(Firefox…