Pandas 合并(merge)，对于合并操作，熟悉SQL的同学可以将其理解为JOIN操作，它使用一个或多个键把多行数据结合在一起。

原文参考 https://coolcou.com/pandas/pandas-data-process/pandas-merger-merge.html

跟关系数据库打交道的同学通常使用SQL的JOIN查询，用几个表共用的引用值(键)从不同的表获取数据。以这些键为基础，我们能够获取列表形式的新数据，这些数据是对几个表中的数据进行组合得到的。Pandas库中这类操作叫做合并，执行合并操作的函数为merge()。

阅读本章内容前，可以先学习Pandas基础教程及Pandas数据读写。

使用merge()函数进行合并

如下所示，首先定义两个DataFrame对象，然后对两个DataFrame对象应用merge()函数进行合并操作。

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'price':['12.33', '11.44', '33.21', '12.23', '33.62']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'color':['white', 'red', 'red', 'black']})
print(frame1)
print('------------')
print(frame2)
print('-----------')
print(pd.merge(frame1, frame2))

输出结果如下:

如上所示，返回的DataFrame对象由原来两个DataFrame对象中ID相同的行组成，出了id这一列，新DataFrame包含了属于两个DataFrame的其他列。

on 选项指定基准列

在上面例子中，没有为merge()指定基于哪一列进行合并，实际应用中，常常需要指定基于哪一列进行合并。具体做法是增加on选项，把列的名称作为用于合并的键赋值给它。如下所示：

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'color':['white', 'red', 'red', 'black','green'],
                       'brand':['OMG', 'ABC', 'ABC', 'POD', 'POD']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'brand':['OMG', 'POD', 'ABC', 'POD']})
print(frame1)
print('------------')
print(frame2)
print('-----------')
print(pd.merge(frame1, frame2))

输出结果如下:

如上所示，由于我们定义的两个DataFrame对象，一个对象的列名称在另一个对象中也存在，所以对它们执行合并操作将得到一个空DataFrame对象。

因此我们需要明确定义pandas合并操作需要遵循的标准，我们用on选项指定合并操作所依据的基准列，合并标准不同，合并结果也会不同，如下所示：

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'color':['white', 'red', 'red', 'black','green'],
                       'brand':['OMG', 'ABC', 'ABC', 'POD', 'POD']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'brand':['OMG', 'POD', 'ABC', 'POD']})
print(pd.merge(frame1, frame2,on='id'))
print("------------")
print(pd.merge(frame1, frame2,on='brand'))

输出结果如下:

问题如影随形，假如两个DataFrame基准列的名称不一致，又该如何进行合并呢？为此，我们可以使用left_on和right_on选项指定第一个和第二个DataFrame的基准列，如下所示：

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'color':['white', 'red', 'red', 'black','green'],
                       'brand':['OMG', 'ABC', 'ABC', 'POD', 'POD']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'brand':['OMG', 'POD', 'ABC', 'POD']})
frame2.columns = ['brand', 'sid']
print(frame1)
print('------------')
print(frame2)
print('------------')
print(pd.merge(frame1,frame2,left_on='id',right_on='sid'))

输出结果如下:

左连接，右连接，外连接

如上所示，merge()函数默认执行的是内连接操作，上述结果执行的是交叉操作，其他还支持左连接，右连接和外连接，外连接把所有的键整合在一起，其效果相当于左连接和右连接的效果之和，连接类型用how选项指定。如下所示：

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'color':['white', 'red', 'red', 'black','green'],
                       'brand':['OMG', 'ABC', 'ABC', 'POD', 'POD']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'brand':['OMG', 'POD', 'ABC', 'POD']})
frame2.columns = ['brand', 'id']
print(frame1)
print('------------')
print(frame2)
print('------------')
print(pd.merge(frame1,frame2,on='id'))

执行结果如下:

分别执行外连接，左连接，右连接，如下所示：

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'color':['white', 'red', 'red', 'black','green'],
                       'brand':['OMG', 'ABC', 'ABC', 'POD', 'POD']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'brand':['OMG', 'POD', 'ABC', 'POD']})
frame2.columns = ['brand', 'id']
print(pd.merge(frame1,frame2,how='outer'))
print('------------')
print(pd.merge(frame1,frame2,how='left'))
print('------------')
print(pd.merge(frame1,frame2,how='right'))

输出结果如下:

  brand  color       id
0   OMG  white     ball
1   ABC    red   pencil
2   ABC    red      pen
3   POD  black      mug
4   POD  green  ashtray
5   OMG    NaN   pencil
6   POD    NaN   pencil
7   ABC    NaN     ball
8   POD    NaN      pen
------------
  brand  color       id
0   OMG  white     ball
1   ABC    red   pencil
2   ABC    red      pen
3   POD  black      mug
4   POD  green  ashtray
------------
  brand color      id
0   OMG   NaN  pencil
1   POD   NaN  pencil
2   ABC   NaN    ball
3   POD   NaN     pen

要合并多个键，则把多个键赋值为on选项，如下示：

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'color':['white', 'red', 'red', 'black','green'],
                       'brand':['OMG', 'ABC', 'ABC', 'POD', 'POD']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'brand':['OMG', 'POD', 'ABC', 'POD']})
frame2.columns = ['brand', 'id']
print(pd.merge(frame1,frame2,on=['id','brand'],how='outer'))

输出结果如下:

根据索引进行合并

有的时候，合并操作不是用DataFrame的列，而是用索引作为键。把left_index和right_index选项的值置为True，就可将其作为合并DataFrame的基准。如下所示：

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'color':['white', 'red', 'red', 'black','green'],
                       'brand':['OMG', 'ABC', 'ABC', 'POD', 'POD']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'brand':['OMG', 'POD', 'ABC', 'POD']})
frame2.columns = ['brand', 'id']
print(pd.merge(frame1,frame2,right_index=True,left_index=True))

输出结果如下:

DataFrame对象的join()函数更适合于根据索引进行合并，我们可以用它合并多个索引相同列不同的DataFrame对象。如上所示，因为frame1的列名称和frame2的列名称有重合，直接调用frame1.join(frame2)会给出错误信息，这里要重命名frame2的列。如下所示:

import pandas as pd

frame1 = pd.DataFrame({
    'id':['ball', 'pencil', 'pen', 'mug', 'ashtray'],
                       'color':['white', 'red', 'red', 'black','green'],
                       'brand':['OMG', 'ABC', 'ABC', 'POD', 'POD']})
frame2 = pd.DataFrame({
    'id':['pencil', 'pencil', 'ball', 'pen'],
                       'brand':['OMG', 'POD', 'ABC', 'POD']})
frame2.columns = ['brand2', 'id2']
print(frame1.join(frame2))

输出结果如下:

如上所示，合并操作是以索引而不是列为基准，合并后得到的DataFrame对象包含了只存在于frame1的索引4，整合了frame2，索引为4的各元素使用NaN填充。

相关文章参考
Pandas 旋转数据
Pandas 删除数据
Pandas 拼接(concat)
Pandas GroupBy 用法