python dataframe group by_Python DataFrame.groupby()聚合函数,分组级运算

pandas提供了一个灵活高效的groupby功能,它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键(可以是函数、数组或DataFrame列名)拆分pandas对象。计算分组摘要统计,如计数、平均值、标准差,或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算,如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其他分组分析。

groupby分组函数:

返回值:返回重构格式的DataFrame,特别注意,groupby里面的字段内的数据重构后都会变成索引

groupby(),一般和sum()、mean()一起使用,如下例:

先自定义生成数组

import pandas as pd

df = pd.DataFrame({'key1':list('ababa'),

'key2': ['one','two','one','two','one'],

'data1': np.random.randn(5),

'data2': np.random.randn(5)})

print(df)

data1 data2 key1 key2

0 -1.313101 -0.453361 a one

1 0.791463 1.096693 b two

2 0.462611 1.150597 a one

3 -0.216121 1.381333 b two

4 0.077367 -0.282876 a one

应用groupby,分组键均为Series(譬如df[‘xx']),实际上分组键可以是任何长度适当的数组

#将df['data1']按照分组键为df['key1']进行分组

grouped=df['data1'].groupby(df['key1'])

print(grouped.mean())

key1

a -0.257707

b 0.287671

Name: data1, dtype: float64

states=np.array(['Ohio','California','California','Ohio','Ohio'])

years=np.array([2005,2005,2006,2005,2006])

#states第一层索引,years第二层分层索引

print(df['data1'].groupby([states,years]).mean())

California 2005 0.791463

2006 0.462611

Ohio 2005 -0.764611

2006 0.077367

Name: data1, dtype: float64

#df根据‘key1'分组,然后对df剩余数值型的数据运算

df.groupby('key1').mean()

data1 data2

key1

a -0.257707 0.138120

b 0.287671 1.239013

#可以看出没有key2列,因为df[‘key2']不是数值数据,所以被从结果中移除。默认情况下,所有数值列都会被聚合,虽然有时可能被过滤为一个子集。

对分组进行迭代

#name就是groupby中的key1的值,group就是要输出的内容

for name, group in df.groupby('key1'):

print (name,group)

a data1 data2 key1 key2

0 -1.313101 -0.453361 a one

2 0.462611 1.150597 a one

4 0.077367 -0.282876 a one

b data1 data2 key1 key2

1 0.791463 1.096693 b two

3 -0.216121 1.381333 b two

对group by后的内容进行操作,可转换成字典

#转化为字典

piece=dict(list(df.groupby('key1')))

{'a': data1 data2 key1 key2

0 -1.313101 -0.453361 a one

2 0.462611 1.150597 a one

4 0.077367 -0.282876 a one, 'b': data1 data2 key1 key2

1 0.791463 1.096693 b two

3 -0.216121 1.381333 b two}

#对字典取值

value = piece['a']

groupby默认是在axis=0上进行分组的,通过设置也可以在其他任何轴上进行分组

grouped=df.groupby(df.dtypes, axis=1)

value = dict(list(grouped))

print(value)

{dtype('float64'): data1 data2

0 -1.313101 -0.453361

1 0.791463 1.096693

2 0.462611 1.150597

3 -0.216121 1.381333

4 0.077367 -0.282876, dtype('O'): key1 key2

0 a one

1 b two

2 a one

3 b two

4 a one}

对于大数据,很多情况是只需要对部分列进行聚合

#对df进行'key1','key2'的两次分组,然后取data2的数据,对两次细分的分组数据取均值

value = df.groupby(['key1','key2'])[['data2']].mean()

data2

key1 key2

a one 0.138120

b two 1.239013

----------------------------------

df

Out[1]:

data1 data2 key1 key2

0 -1.313101 -0.453361 a one

1 0.791463 1.096693 b two

2 0.462611 1.150597 a one

3 -0.216121 1.381333 b two

4 0.077367 -0.282876 a one

----------------------------------

df['key2'].iloc[-1] ='two'

value = df.groupby(['key1','key2'])[['data2']].mean()

value

Out[2]:

data2

key1 key2

a one 0.348618

two -0.282876

b two 1.239013

Python中的分组函数(groupby、itertools)

from operator import itemgetter #itemgetter用来去dict中的key,省去了使用lambda函数

from itertools import groupby #itertool还包含有其他很多函数,比如将多个list联合起来。。

d1={'name':'zhangsan','age':20,'country':'China'}

d2={'name':'wangwu','age':19,'country':'USA'}

d3={'name':'lisi','age':22,'country':'JP'}

d4={'name':'zhaoliu','age':22,'country':'USA'}

d5={'name':'pengqi','age':22,'country':'USA'}

d6={'name':'lijiu','age':22,'country':'China'}

lst=[d1,d2,d3,d4,d5,d6]

#通过country进行分组:

lst.sort(key=itemgetter('country')) #需要先排序,然后才能groupby。lst排序后自身被改变

lstg = groupby(lst,itemgetter('country'))

#lstg = groupby(lst,key=lambda x:x['country']) 等同于使用itemgetter()

for key,group in lstg:

for g in group: #group是一个迭代器,包含了所有的分组列表

print key,g

返回:

China {'country': 'China', 'age': 20, 'name': 'zhangsan'}

China {'country': 'China', 'age': 22, 'name': 'lijiu'}

JP {'country': 'JP', 'age': 22, 'name': 'lisi'}

USA {'country': 'USA', 'age': 19, 'name': 'wangwu'}

USA {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}

USA {'country': 'USA', 'age': 22, 'name': 'pengqi'}

print [key for key,group in lstg] #返回:['China', 'JP', 'USA']

print [(key,list(group)) for key,group in lstg]

#返回的list中包含着三个元组:

[('China', [{'country': 'China', 'age': 20, 'name': 'zhangsan'}, {'country': 'China', 'age': 22, 'name': 'lijiu'}]), ('JP', [{'country': 'JP', 'age': 22, 'name': 'lisi'}]), ('USA', [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}])]

print dict([(key,list(group)) for key,group in lstg])

#返回的是一个字典:

{'JP': [{'country': 'JP', 'age': 22, 'name': 'lisi'}], 'China': [{'country': 'China', 'age': 20, 'name': 'zhangsan'}, {'country': 'China', 'age': 22, 'name': 'lijiu'}], 'USA': [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}]}

print dict([(key,len(list(group))) for key,group in lstg])

#返回每个分组的个数:

{'JP': 1, 'China': 2, 'USA': 3}

#返回包含有2个以上元素的分组

print [key for key,group in groupby(sorted(lst,key=itemgetter('country')),itemgetter('country')) if len(list(group))>=2]

#返回:['China', 'USA']

lstg = groupby(sorted(lst,key=itemgetter('country')),key=itemgetter('country'))

lstgall=[(key,list(group)) for key,group in lstg ]

print dict(filter(lambda x:len(x[1])>2,lstgall))

#过滤出分组后的元素个数大于2个的分组,返回:

{'USA': [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}]}

自定义分组:

from itertools import groupby

lst=[2,8,11,25,43,6,9,29,51,66]

def gb(num):

if num <= 10:

return 'less'

elif num >=30:

return 'great'

else:

return 'middle'

print [(k,list(g))for k,g in groupby(sorted(lst),key=gb)]

返回:

[('less', [2, 6, 8, 9]), ('middle', [11, 25, 29]), ('great', [43, 51, 66])]

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对我们的支持。如果你想了解更多相关内容请查看下面相关链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/428069.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络原理关于实验中几个指令使用的复习——网络层

1.>&#xff1a;普通用户模式。 2.en(enable):特权用户模式 3.conf t&#xff08;configure terminal):进入全局配置模式 4.interface fa0/0:接口配置模式 5.exit:退出返回到上一层。 1.ip route:显示所有路由 2.全局配置模式下: ip route 目的网络 掩码 下一跳的IP 3. arp…

46-单元测试(1)

单元测试&#xff1a;对一个函数&#xff0c;类&#xff0c;模块进行测试&#xff1a;TDD(测试驱动开发) #在同一个目录下建两个py文件&#xff1a;mydict.py和Testmydict.py#mydict.py class Dict(dict):def __init__(self, **kw):super().__init__(**kw)def __getattr__(self…

1-4 鸡兔同笼(算法竞赛经典入门)

这个属于初级阶段传递给初学者的一个思想&#xff0c;那就是计算机是不可以计算方程式的&#xff0c;需要你具体的告诉它每一步需要做什么。 源码如下: #include<iostream> #include<bits/stdc.h> using namespace std; int main() {int m,n;double x,y;cin>&…

计算机网络各层协议

应用层(典型设备:应用程序, 如FTP, SMTP , HTTP) HTTP (Hypertext Transfer Protocol )超文本传输协议 <端口号 80>, 面向事务的应用层协议。 DNS (Domain Name System )域名解析<端口号53> FTP (File Transfer Protocol )文件传输协议<端口号21>减少或消除不…

个人博客网页设计_博客个人网页制作网页设计-1

CSS3仿Flash动画个人博客模板是一款横向全屏切换的个人博客模板。

1-5 三整数排序(算法竞赛入门经典)

书上关于三整数排序的这一问题&#xff0c;完全是为了让初学者去思考分支情况的&#xff0c;并且也要去考虑三个数其中相等的情况。 其实最后一种思想正是后面要学习的排序算法中的选择排序的一种体现。 源码如下: #include<iostream> #include<bits/stdc.h> usin…

uniapp滑动切换tab标签_Web前端,Tab切换,缓存,页面处理的几种方式

前言相信tab切换对于大家来说都不算陌生&#xff0c;后台管理系统中多会用到。如果不知道的话&#xff0c;可以看一下浏览器上方的标签页切换&#xff0c;大概效果就是这样。1.如何切换使用动态组件,相信大家都能看懂(部分代码省略)//通过点击就可以实现两个组件来回切换 切换v…

20165203 2017-2018-2 《Java程序设计》第一周学习总结

20165203 2017-2018-2《Java程序设计》第一周学习总结 教材学习内容总结 &#xff08;一&#xff09;Java的地位 Java是面向对象编程&#xff0c;并涉及网络、多线程等重要的基础知识&#xff0c;是一门很好的面向对象的语言。 &#xff08;二&#xff09;Java的特点 简单 面向…

C语言中printf输出特殊字符(“%d“或者“\n“)

在C语言中&#xff0c;相信很多人尝试过进行“%”的输出&#xff0c;常规的 printf("%d\n"); 肯定是行不通的&#xff0c;这里需要注意的是在c语言中对“%”和“\”的输出是可以的&#xff0c;但是输出格式不能直接进行输出&#xff0c;编译器在编译的时候会把"…

16-1平衡树源代码

本例子分为3个文件。 类声明头文件 hAVL.h #ifndef AVLTREE_H_INCLUDED #define AVLTREE_H_INCLUDED//AVL树数据结构定义 typedef int ElementType;//AVL数节点包含数据类型//树节点 typedef struct AVLNode{ElementType element;//节点包含的数据元素AVLNode *left;//节点左子…

此处不允许使用分组函数_Excel中使用Vlookup函数实现数据分组

Vlookup匹配函数&#xff1a;在表格的首列查找指定的数据&#xff0c;并返回指定的数据所在行中的指定列处的单元格内容。该函数的语法规则如下&#xff1a;VLOOKUP(lookup_value,table_array,col_index_num,range_lookup)draft-node"block" data-draft-type"ta…

算法入门经典习题第一章

习题1-1 平均数(average) #include<iostream> #include<bits/stdc.h> using namespace std; int main() {int a,b,c;double s;cin>>a>>b>>c;s(abc)/3.0;printf("%.3f\n",s); }注意整数在运算中和实数的转换即可。 习题1-2 温度 #in…

C#细说多线程(下)

本文主要从线程的基础用法&#xff0c;CLR线程池当中工作者线程与I/O线程的开发&#xff0c;并行操作PLINQ等多个方面介绍多线程的开发。 其中委托的BeginInvoke方法以及回调函数最为常用。而 I/O线程可能容易遭到大家的忽略&#xff0c;其实在开发多线程系统&#xff0c;更应该…

python apscheduler 脚本 动态_用apscheduler写python定时脚本

apscheduler 官方文档&#xff1a;http://apscheduler.readthedocs.io/en/latest/写一个后台定时任务&#xff0c;一般2个选择&#xff0c;一个是apscheduler&#xff0c;一个celery&#xff0c;apscheduler比较直观简单。安装&#xff1a;pip install apscheduler简单例子&…

找零问题的几种解决方式(递推)(持续更新)

初学算法&#xff0c;找零问题算的上是一个比较经典的问题 老师上课讲的时候潇潇洒洒&#xff0c;以为已经是拿下了&#xff0c;课下唯唯诺诺&#xff0c;一看&#xff0c;发现思路没了&#xff0c;真是出来混&#xff0c;总是要还的呀。 源码: #include<iostream> #in…

Atcoder Contest069F:Flag

题目&#xff1a;https://arc069.contest.atcoder.jp/tasks/arc069_d 题意就是让你在n对数字每一对都选一个数使得任意两个数做差的绝对值最小值最大。 关系显然是一个2-sat&#xff0c;然后我们发现二份答案如果差值为x那么a-x1到ax-1是绝对不能选的&#xff0c; 也就是选完以…

anaconda中的python如何进行关联分析_Anaconda、Miniconda、Conda、pip的相互关系

Anaconda、Miniconda、Conda、pip的相互关系。如果你想要跳过这篇文章&#xff0c;并得到讨论的要点&#xff0c;你可以阅读每个标题以及下面的摘要。认为#1&#xff1a;Conda是一个发行版&#xff0c;不是一个软件包管理器现实&#xff1a;Conda是一个包管理器;Anaconda是一个…

cpp [Error] reference to ‘count‘ is ambiguous(全局变量的使用模糊不清)

在编写汉诺塔实验的时候&#xff0c;自己设计了一个全局的计数变量count用来计数移动次数&#xff0c;结果运行的时候报了这样的错误&#xff0c;错误也锁定在全局变量的定义那里。 没想通为什么会有语法错误&#xff0c;去查了一下发下是c的库函数有关键字count&#xff0c;所…

InfluxDB学习之InfluxDB数据保留策略(Retention Policies)

InfluxDB每秒可以处理成千上万条数据&#xff0c;要将这些数据全部保存下来会占用大量的存储空间&#xff0c;有时我们可能并不需要将所有历史数据进行存储&#xff0c;因此&#xff0c;InfluxDB推出了数据保留策略&#xff08;Retention Policies&#xff09;&#xff0c;用来…

车牌识别数据集_行人再识别数据集

目前行人再识别的数据集比较常用的有&#xff1a;Market-1501、 DukeMTMC-reID、CUHK03&#xff0c;后面有时间会上传如何处理数据集的代码。目前常使用的方式&#xff1a;数据集下有以下几个文件夹&#xff1a;train&#xff1a;包含n个子文件夹&#xff0c;每个文件夹是对应标…