目录
一、concat方法
1. 基本语法
2. 示例
示例1：按行合并（垂直方向）
示例2：按列合并（水平方向）
示例3：使用join='inner'进行内连接
示例4：处理列名冲突
二、merge方法
1. 基本语法
2. 示例
示例1：内连接（Inner Join）
示例2：外连接（Outer Join）
示例3：左连接（Left Join）
示例4：右连接（Right Join）
示例5：基于多个键的合并
总结
在数据处理和分析的过程中，数据合并是一个常见且重要的步骤。Pandas作为Python中强大的数据处理库，提供了多种数据合并的方法，其中concat和merge是两种最常用的方法。本文将通过实例和代码详细讲解这两种方法的使用，帮助读者掌握它们在实际应用中的技巧。
一、concat方法
concat函数用于沿着一个特定的轴（行或列）将多个Pandas对象（如DataFrame或Series）连接在一起。它是一种简单的拼接方式，适用于多种场景，例如将不同时间段的数据纵向堆叠，或者将具有相同索引的不同特征横向拼接。
1. 基本语法
pandas.concat(objs, axis=0, join='outer', ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=False, copy=True)- objs：要连接的对象列表，可以是DataFrame或Series。
- axis：指定连接的方向，默认为0，表示按行连接；1表示按列连接。
- join：控制连接时如何处理索引对齐。可选值有'inner'（取交集）和'outer'（取并集），默认为'outer'。
- ignore_index：如果设置为True，则忽略原始索引，重新生成新的整数索引。
其他参数主要用于高级用法，如添加层次化索引等。
2. 示例
示例1：按行合并（垂直方向）
import pandas as pd# 创建两个DataFrame
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3'],'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']
}, index=[0, 1, 2, 3])df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],'B': ['B4', 'B5', 'B6', 'B7'],'C': ['C4', 'C5', 'C6', 'C7'],'D': ['D4', 'D5', 'D6', 'D7']
}, index=[4, 5, 6, 7])# 按行合并df1和df2
result = pd.concat([df1, df2])
print(result)输出：
A B C D
0 A0 B0 C0 D0
1 A1 B1 C1 D1
2 A2 B2 C2 D2
3 A3 B3 C3 D3
4 A4 B4 C4 D4
5 A5 B5 C5 D5
6 A6 B6 C6 D6
7 A7 B7 C7 D7示例2：按列合并（水平方向）
# 创建两个DataFrame
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3']
}, index=[0, 1, 2, 3])df2 = pd.DataFrame({'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']
}, index=[0, 1, 2, 3])# 按列合并df1和df2
result = pd.concat([df1, df2], axis=1)
print(result)输出：
A B C D
0 A0 B0 C0 D0
1 A1 B1 C1 D1
2 A2 B2 C2 D2
3 A3 B3 C3 D3示例3：使用join='inner'进行内连接
# 创建两个DataFrame
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3']
}, index=[0, 1, 2, 3])df2 = pd.DataFrame({'B': ['B4', 'B5', 'B6', 'B7'],'C': ['C4', 'C5', 'C6', 'C7']
}, index=[2, 3, 4, 5])# 按行合并df1和df2，使用内连接
result = pd.concat([df1, df2], join='inner')
print(result)输出：
B
2 B2
3 B3
2 B4
3 B5注意：这里的结果并不是我们想要的，因为join='inner'在concat中并不是按照SQL中的内连接逻辑来执行的。它实际上是基于索引的交集来保留行，而不是基于列值的交集。对于内连接，我们通常会使用merge方法。
示例4：处理列名冲突
假设我们有两个关于学生成绩的DataFrame，分别记录了语文成绩和数学成绩，且它们具有相同的索引（学生编号）。我们可以使用concat将其横向拼接，但为了避免列名冲突，我们可以只选择需要的列进行拼接。
# 创建示例数据
chinese_scores = pd.DataFrame({'student_id': [1, 2, 3],'chinese_score': [85, 90, 78]
})math_scores = pd.DataFrame({'student_id': [1, 2, 3],'math_score': [88, 92, 80]
})# 只选择成绩列进行拼接
result = pd.concat([chinese_scores['chinese_score'], math_scores['math_score']], axis=1)
print(result)输出：
chinese_score math_score
0 85 88
1 90 92
2 78 80二、merge方法
merge函数更类似于SQL中的JOIN操作，它根据某些键（通常是共同的列）来合并两个DataFrame。它可以实现一对一、一对多、多对多等多种复杂的关联关系。
1. 基本语法
pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, validate=None)- left：左侧的DataFrame。
- right：右侧的DataFrame。
- how：指定合并的方式，常见的有'inner'（内连接）、'outer'（外连接）、'left'（左连接）、'right'（右连接）。
- on：指定用于合并的列名，当左右两侧的列名相同时使用此参数。
- left_on和right_on：当左右两侧用于合并的列名不同时，分别指定左右两侧的列名。
- suffixes：当存在重复列名时，给左右两侧的列添加后缀以区分。
其他参数主要用于高级用法，如添加合并指示列等。
2. 示例
示例1：内连接（Inner Join）
import pandas as pd# 创建两个DataFrame
left = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3']
})right = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K4'],'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']
})# 按'key'列进行内连接
result = pd.merge(left, right, on='key')
print(result)输出：
key A B C D
0 K0 A0 B0 C0 D0
K0 A0 B0 C0 D0
1 K1 A1 B1 C1 D1
2 K2 A2 B2 C2 D2示例2：外连接（Outer Join）
在外连接中，合并后的DataFrame将包含左表和右表中的所有行。如果某个键在其中一个表中不存在，则相应的列将填充为NaN。
#按'key'列进行外连接
result_outer = pd.merge(left, right, on='key', how='outer')
print(result_outer)输出：
key A B C D
0 K0 A0 B0 C0 D0
1 K1 A1 B1 C1 D1
2 K2 A2 B2 C2 D2
3 K3 A3 B3 NaN NaN
4 K4 NaN NaN C3 D3示例3：左连接（Left Join）
左连接将返回左表中的所有行以及右表中与左表匹配的行。如果右表中没有匹配的行，则结果中的相应列将填充为NaN。
#按'key'列进行左连接
result_left = pd.merge(left, right, on='key', how='left')
print(result_left)输出：
key A B C D
0 K0 A0 B0 C0 D0
1 K1 A1 B1 C1 D1
2 K2 A2 B2 C2 D2
3 K3 A3 B3 NaN NaN示例4：右连接（Right Join）
右连接与左连接相反，它将返回右表中的所有行以及左表中与右表匹配的行。如果左表中没有匹配的行，则结果中的相应列将填充为NaN。
#按'key'列进行右连接
result_right = pd.merge(left, right, on='key', how='right')
print(result_right)输出：
key A B C D
0 K0 A0 B0 C0 D0
1 K1 A1 B1 C1 D1
2 K2 A2 B2 C2 D2
3 K4 NaN NaN C3 D3示例5：基于多个键的合并
有时，我们可能需要基于多个键来合并两个DataFrame。这可以通过在on参数中传递一个键的列表或在left_on和right_on参数中分别指定左右两侧的键来实现。
#创建两个基于多个键的DataFrame
left_multi = pd.DataFrame({
'key1': ['K0', 'K0', 'K1', 'K2'],
'key2': ['K0', 'K1', 'K0', 'K0'],
'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3']
})right_multi = pd.DataFrame({
'key1': ['K0', 'K1', 'K1', 'K2'],
'key2': ['K0', 'K0', 'K1', 'K0'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']
})
#基于多个键进行合并
result_multi = pd.merge(left_multi, right_multi, on=['key1', 'key2'])
print(result_multi)输出：
key1 key2 A B C D
0 K0 K0 A0 B0 C0 D0
1 K1 K0 A2 B2 C1 D1总结
Pandas的concat和merge方法提供了强大的数据合并功能。concat方法适用于简单的拼接操作，如按行或按列合并。而merge方法则更类似于SQL中的JOIN操作，可以根据一个或多个键来合并两个DataFrame，实现复杂的关联关系。在实际应用中，我们可以根据具体需求选择合适的方法来合并数据。
