pandas 每一列相加_Python3 numpy amp; pandas 学习笔记

写在前面

在用python做一些ML和DL的工作前，先看莫烦大佬的视频学习一下numpy和pandas这两个数据处理包，学习中记了一些笔记，便于自己日后查阅，同时发布到知乎希望能够帮助到其他小伙伴！

视频如下：

Numpy & Pandas (莫烦 Python 数据处理教程)_哔哩哔哩 (゜-゜)つロ干杯~-bilibiliwww.bilibili.com

一、numpy & pandas 有什么用

ML、DL的基础，用于数据分析。

计算速度更快，比py自带的数据结构快很多，因为numpy和pandas是用C写的，panda是numpy的升级版。

矩阵计算速度快。

二、numpy & pandas 安装

pip install numpy

pip install pandas

三、numpy 基本属性

import numpy as np
array = np.array([[1,2,3],[2,3,4]])   #创建矩阵
print(array) #打印矩阵
print('number of dim:', array.ndim)   #矩阵维度
print('shape:', array.shape)   #矩阵形状（n*m） n行m列
print('size:', array.size)    #矩阵元素数量

四、numpy 创建 array

import numpy as np
a = np.array([2,23,4], dtype=np.int)  #定义数据的格式为int， 还有int64、int32、float64、float32
print(a.dtype)  #打印矩阵a中的元素数据类型b = np.array([[2,23,4],[2,32,4]]) #定义2*3的矩阵
c = np.zeros((3,4))  # 定义全部为0的矩阵，参数为shape
print(c)d = np.ones((3,4), dtype=np.int16)   # 定义全部为1的矩阵，参数为shape
print(d)e = np.empty((3,4))   # 定义全部为无穷小的矩阵，参数为shape
print(e)f = np.arange(10, 20, 2)   # 从10到20，不包含20，步长为2
print(f)g = np.arange(12).reshape((3,4))   # 从0到12，不包含12，步长为1,重新定义大小为3*4
print(g)h = np.linspace(1, 10, 20).reshape((4,5))     # 数列，从1到10，分为20段，最后一个是10..#也可以更改shape
print(h)

五、numpy 基础运算1

#数列操作
import numpy as np
a = np.array([10, 20, 30, 40])
b = np.arange(4)   #0,1,2,3print(a, b)  #[10 20 30 40] [0 1 2 3]
c = a-b
print(c)     #[10 19 28 37]c = a+b
print(c)     #[10 21 32 43]c = b**2     #b的平方
print(c)     #[0 1 4 9]c = 10*np.sin(a)  #对a的每一个元素求sin，然后乘以10   # tan、cos类似
print(c)     #[-5.44021111  9.12945251 -9.88031624  7.4511316 ]print(b)     #[0 1 2 3]
print(b<3)   #[ True  True  True False] #判断，同理可以用其他判断符

#矩阵操作
import numpy as np
a = np.array([[1,1],[0,1]])
b = np.arange(4).reshape((2,2))   #0,1,2,3print(a)
print(b)c = a*b   #元素逐个相乘
c_dot = np.dot(a, b) #矩阵乘法
print(c)
print(c_dot)c_dot_2 = a.dot(b) # 与c_dot = np.dot(a, b)相同a = np.random.random((2, 4))  #随机矩阵,0-1的均匀分布
print(a)print(np.sum(a))     #求和
print(np.min(a))     #最小值
print(np.max(a))     #最大值print(np.sum(a, axis=1))    #按照每一行或每一列计算，0表示对列操作，1表示对行操作#min 和 max 类似

六、numpy 基础运算2

import numpy as npa = np.arange(14, 2, -1).reshape((3, 4))
print(a)print(np.argmin(a))  #输出最小值的index
print(np.argmax(a))  #输出最大值的indexprint(np.mean(a))    #平均值 也可以 a.meanin
print(np.average(a)) #同mean, 但不可以a.averageprint(np.median(a))  #中位数print(np.cumsum(a))  #逐位相加 输出n*m个元素 一行,前缀和
print(np.diff(a))    #累差，每两个之间的差， n*(m-1)print(np.nonzero(a)) #输出非零元素的行和列 index，行为一个array，列为一个arrayprint(np.sort(a))    #默认按照每一行排序，行间不排序print(np.transpose(a))  #转置
print(a.T)  #转置print((a.T).dot(a))  # aT * aprint(np.clip(a, 5, 9))   #所有大于9的数变成了9，所有小于5的数变成了5，中间的数不变

其中很多计算函数，如mean、median 都可以在参数中指定axis，0表示每一列计算，1表示每一行计算。

七、numpy 索引

import numpy as npa = np.arange(3, 15)
print(a)print(a[3])   #输出3号元素a = a.reshape((3, 4))
print(a)
print(a[2])   #输出2号行
print(a[1][1]) #输出第一行第一列
print(a[1,1]) #等价于上一行
print(a[1,:]) #:代表所有数
print(a[1,1:3]) #第1行的  从第1列到第3列print()
for row in a:print(row) #循环输出每一行for col in a.T:print(col) #循环输出每一列for item in a.flat:     #转换成一行    #a.flatten() 返回一个一行的序列print(item) #循环输出每一个item

八、numpy array合并

import numpy as npa = np.array([1, 1, 1])
b = np.array([2, 2, 2])c = np.vstack((a, b))  #vertical stack  上下合并
print(c)
print(a.shape, c.shape)d = np.hstack((a, b))  #horizontal stack 左右合并
print(d)
print(a.shape, d.shape)print(a[np.newaxis, :])  #为行新加一个维度  变成了1*3
print(a[:, np.newaxis])  #为列新加一个维度  变成了3*1a = a[:, np.newaxis]
b = b[:, np.newaxis]
print(np.hstack((a,b)))   #纵向合并，变成3*2c = np.concatenate((a,b,b,a), axis=1)  #合并，0是上下合并，1是左右合并
print(c)

由于我之前一直使用的MATLAB，所以python的这一部分有些不能理解，为什么一维向量转置后还是本身？
经过测试，我个人理解numpy的工作很看重维度，一维下转置还是一维，所以还是自己本身。使用newaxis扩展维度后，变成了二维，才可以做真正的转置。
在一维下进行合并，也只能横向扩展，不能跨越维度

九、numpy的array分割

import numpy as npa = np.arange(12).reshape((3,4))
print(a)print(np.split(a,3,axis=0))   #0为按行切割， 1为按列切割
#不能进行不等的分割  split(a,2,axis=0)print(np.array_split(a,3,axis=1))  #可以不等分割print(np.vsplit(a,3))  #纵向分割 相当于axis=0
print(np.hsplit(a,2))  #横向分割 相当于axis=1

十、numpy的 copy & deep copy

import numpy as npa = np.arange(4)
print(a)
b = a
c = a
d = b
a[0] = 11
print(a)
print(b)  #与a相同，所以直接赋值是浅拷贝
print(c is a)  #Trueb = a.copy()  # deep copy
a[0] = 88
print(a)
print(b)

十一、pandas 基本介绍

如果说numpy像列表，那pandas像字典。

pandas可以为行和列自定义名字，在ML中，可以将其命名为feature的名字

import numpy as np
import pandas as pds = pd.Series([1,3,6,np.nan,44,1]) #有序号的列表
print(s)dates = pd.date_range('20160101', periods=6) #日期序列
print(dates)df = pd.DataFrame(np.random.randn(6,4),index = dates, columns=['a', 'b', 'c', 'd'])
#行是index  columns 是列
print(df)df1 = pd.DataFrame(np.arange(12).reshape((3,4)))
print(df1)  #行和列的名字默认是 从0开始的序号df2 = pd.DataFrame({'A':1.,'B':pd.Timestamp('20130102'),'C':pd.Series(1,index=list(range(4)),dtype='float32'),'D':np.array([3]*4,dtype='int32'),'E':pd.Categorical(["test", "train", "test", "train"]),'F':'foo'})
#可以传入一个字典，其中A B C D E F 为列名
print(df2)print(df2.dtypes) #查看每一列的数据类型
print(df2.index) #每一行的名字
print(df2.columns)  # 每一列的名字
print(df2.values)   #每一个值
print(df2.describe())  #输出每一列的 count、mean、std、min、25%、50%、75%、max
print(df2.T)  #转置
print(df2.sort_index(axis=1,ascending=False))
#axis为1是按列排序，0是按行排序，ascending=false:倒序排序print(df2.sort_index(axis=0,ascending=False))print(df2.sort_values(by='E')) #对其中的值排序，根据某一列

十二、pandas 选择数据

import numpy as np
import pandas as pddates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])print(df)
print(df['A'], df.A)  #打印第A列
print(df[0:3], df['20130102':'20130104']) #打印第0-3行,然后打印第02-04行#select by label:loc
print(df.loc['20130102'])   #按照标签选择
print(df.loc[:,['A','B']])  #所有行的A列和B列
print(df.loc['20130102',['A','B']])  #选择某些数据#select by position:iloc
print(df.iloc[3, 1])   #第三行第一列
print(df.iloc[3:5, 1:3])   #切片
print(df.iloc[[1,3,5], 1:3])  #不连续的筛选#mixed selection:ix
#print(df.ix[:3,['A','C']])  #报错，python3已经弃用ix#Boolean indexing
print(df[df.A > 8])   #筛选出A列中大于8的行

ix已经弃用，会报错

十三、pandas 设置值

import numpy as np
import pandas as pddates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])
print(df)df.iloc[2,2] = 1111  #按照index修改值
df.loc['20130101','B'] = 2222
df[df.A>4] = 0   #把第A列大于4的行都改为0，修改所有列的
print(df)df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])
df.A[df.A>4] = 0 #只修改第A列的
print(df)df['F'] = np.nan  #增加一列 nan
df['E'] = pd.Series([1,2,3,4,5,6], index=dates)  #增加一列，序列
print(df)

十四、pandas 处理丢失数据

import numpy as np
import pandas as pddates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)), index=dates, columns=['A','B','C','D'])
df.iloc[0,1] = np.nan
df.iloc[1,2] = np.nan  #创造丢失数据
print(df)#drop
print(df.dropna(axis=0, how='any'))  #丢掉数据，axis=0 丢掉这一行
#how={'any','all'}   any: 有一个nan 就丢掉这一行， all:全部为nan才丢掉，  默认anyprint(df.dropna(axis=1, how='any'))  #丢掉数据，axis=1 丢掉这一列#fill
print(df.fillna(value=0))   #将nan填充为0
print(df.isnull())    #对每个value判断是否为nan  返回beal 矩阵
print(np.any(df.isnull())==True)   #只要有一个丢失的数据，就返回true

十五、pandas 导入导出数据

import numpy as np
import pandas as pd#读入
data = pd.read_csv('student.csv')  #读取csv表格
print(data)  #会在每一行自动加一个索引 0-n#存储
data.to_pickle('student.pickle')   #写出为pickle文件

读为 read_#

写入为 to_#

其中#都可以用如下字符代替：

csv
excel
hdf
sql
json
msgpack
html
gbq
stata
sas
clipboard
pickle

十六、pandas 合并 concat

import numpy as np
import pandas as pd# concatenatingdf1 = pd.DataFrame(np.ones((3,4))*0, columns=['a', 'b','c', 'd'])
df2 = pd.DataFrame(np.ones((3,4))*1, columns=['a', 'b','c', 'd'])
df3 = pd.DataFrame(np.ones((3,4))*2, columns=['a', 'b','c', 'd'])
print(df1)
print(df2)
print(df3)
res = pd.concat([df1, df2, df3], axis=0) #合并， 0为纵向合并，1为横向合并
#此方法行的index重复了
print(res)res = pd.concat([df1, df2, df3], axis=0, ignore_index=True)  #index重新排序
print(res)#join  ['inner', 'outer']df1 = pd.DataFrame(np.ones((3,4))*0, columns=['a', 'b','c', 'd'], index=[1,2,3])
df2 = pd.DataFrame(np.ones((3,4))*1, columns=['b', 'c','d', 'e'], index=[2,3,4])
print(df1)
print(df2)res = pd.concat([df1, df2])  #默认为outer模式合并，把没有的列用nan填充
print(res)
res = pd.concat([df1, df2], join='inner')  #inner为只合并共有的列
print(res)#res = pd.concat([df1,df2], axis=1, join_axes=[df1.index])
#横向合并，由于行的index不一样，使用join_axes使得其按照df1的index进行合并，df2中缺失值用nan填充
#由于join_axes已被弃用，会报错#append
res = df1.append([df2,df3], ignore_index=True)
#在其后追加
print(res)s1 = pd.Series([1,2,3,4],index=['a','b','c','d'])
res = df1.append(s1, ignore_index=True)
print(res)

join_axes 已被弃用
其中 s1 = pd.Series([1,2,3,4],index=['a','b','c','d'])
对列标签用了index，如果使用columns会报错
与第八讲补充内容一致，由于此向量为一维，所以不存在列的概念，故只能使用index

十七、pandas 合并 merge

import numpy as np
import pandas as pd#merging two df by key/keys.(may be used in database)
#simple exampleleft = pd.DataFrame({'key':['K0', 'K1', 'K2', 'K3'],'A':['A0', 'A1', 'A2', 'A3'],'B':['B0', 'B1', 'B2', 'B3']})
right = pd.DataFrame({'key':['K0', 'K1', 'K2', 'K3'],'C':['C0', 'C1', 'C2', 'C3'],'D':['D0', 'D1', 'D2', 'D3']})
print(left)
print(right)
res = pd.merge(left, right, on='key') #基于key这一列合并
print(res)#consider two keys
left = pd.DataFrame({'key1':['K0', 'K0', 'K1', 'K2'],'key2':['K0', 'K1', 'K0', 'K1'],'A':['A0', 'A1', 'A2', 'A3'],'B':['B0', 'B1', 'B2', 'B3']})
right = pd.DataFrame({'key1':['K0', 'K1', 'K1', 'K2'],'key2':['K0', 'K0', 'K0', 'K0'],'C':['C0', 'C1', 'C2', 'C3'],'D':['D0', 'D1', 'D2', 'D3']})
print(left)
print(right)
res = pd.merge(left, right, on=['key1','key2'])  #默认只合并相同的key (how='inner')
print(res)#how = ['left', 'right', 'outer', 'inner']
res = pd.merge(left, right, on=['key1','key2'], how='outer') #全部合并，没有的用nan填充
print(res)
res = pd.merge(left, right, on=['key1','key2'], how='right') #以right的key为基准进行填充
print(res)#indicator
df1 = pd.DataFrame({'col1':[0,1], 'col_left':['a', 'b']})
df2 = pd.DataFrame({'col1':[1,2,2], 'col_right':[2,2,2]})
print(df1)
print(df2)
res = pd.merge(df1, df2, on='col1', how='outer', indicator=True) #指示出如何合并的 默认在_merge列
print(res)
res = pd.merge(df1, df2, on='col1', how='outer', indicator='indicator_column')#更改了合并方式的列名
print(res)#merged by index
left = pd.DataFrame({'A':['A0', 'A1', 'A2'],'B':['B0', 'B1', 'B2']},index=['K0', 'K1', 'K2'])
right = pd.DataFrame({'C':['C0', 'C2', 'C3'],'D':['D0', 'D2', 'D3']},index=['K0', 'K2', 'K3'])
print(left)
print(right)
# left_index and right_index
res = pd.merge(left, right, left_index=True, right_index=True, how='outer')
#left_index 和 right_index 默认false, 表示考虑index来合并
print(res)#handle overlapping
boys = pd.DataFrame({'k':['K0','K1','K2'], 'age':[1,2,3]})
girls = pd.DataFrame({'k':['K0','K0','K3'], 'age':[4,5,6]})
print(boys)
print(girls)
res = pd.merge(boys, girls, on='k', how='inner', suffixes=['_boy', '_girl'])
#为left 和 right 相同的列增加前缀，为不同的列
print(res)

十八、pandas plot 画图

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt#plot data#Series
data = pd.Series(np.random.randn(1000), index=np.arange(1000))
data = data.cumsum() #累加和
print(data)
data.plot()   #画图
plt.show()#DataFrame
data = pd.DataFrame(np.random.randn(1000,4),index=np.arange(1000),columns=list("ABCD"))
data = data.cumsum()
print(data.head()) #打印前5个
data.plot()
plt.show()#plot methods:
#bar, hist, box, kde, area, scatter, hexbin, pie
ax = data.plot.scatter(x='A', y='B', color='DarkBlue', label='Claass 1') #分布点
data.plot.scatter(x='A', y='C', color='DarkGreen', label='Class 2', ax=ax)
#一张图画两组数据
plt.show()