Python DataFrame.groupby()聚合函数,分组级运算_Python

pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其他分组分析。

groupby分组函数：

　　返回值：返回重构格式的DataFrame，特别注意，groupby里面的字段内的数据重构后都会变成索引

　　groupby(),一般和sum()、mean()一起使用，如下例：

先自定义生成数组

									import pandas as pd

									df = pd.DataFrame({'key1':list('ababa'),

									  'key2': ['one','two','one','two','one'],

									  'data1': np.random.randn(5),

									  'data2': np.random.randn(5)})

									print(df)

									 data1 data2 key1 key2

									0 -1.313101 -0.453361 a one

									1 0.791463 1.096693 b two

									2 0.462611 1.150597 a one

									3 -0.216121 1.381333 b two

									4 0.077367 -0.282876 a one

应用groupby,分组键均为Series(譬如df[‘xx'])，实际上分组键可以是任何长度适当的数组

									#将df['data1']按照分组键为df['key1']进行分组

									grouped=df['data1'].groupby(df['key1'])

									print(grouped.mean())

									key1

									a -0.257707

									b 0.287671

									Name: data1, dtype: float64

									states=np.array(['Ohio','California','California','Ohio','Ohio'])

									years=np.array([2005,2005,2006,2005,2006])

									#states第一层索引，years第二层分层索引

									print(df['data1'].groupby([states,years]).mean())

									California 2005 0.791463

									 2006 0.462611

									Ohio 2005 -0.764611

									 2006 0.077367

									Name: data1, dtype: float64

									#df根据‘key1'分组，然后对df剩余数值型的数据运算

									df.groupby('key1').mean()

									 data1 data2

									key1  

									a -0.257707 0.138120

									b 0.287671 1.239013

									#可以看出没有key2列，因为df[‘key2']不是数值数据，所以被从结果中移除。默认情况下，所有数值列都会被聚合，虽然有时可能被过滤为一个子集。

对分组进行迭代

									#name就是groupby中的key1的值，group就是要输出的内容

									for name, group in df.groupby('key1'):

									 print (name,group)

									a data1 data2 key1 key2

									0 -1.313101 -0.453361 a one

									2 0.462611 1.150597 a one

									4 0.077367 -0.282876 a one

									b data1 data2 key1 key2

									1 0.791463 1.096693 b two

									3 -0.216121 1.381333 b two

对group by后的内容进行操作，可转换成字典

									#转化为字典

									piece=dict(list(df.groupby('key1')))

									{'a': data1 data2 key1 key2

									 0 -1.313101 -0.453361 a one

									 2 0.462611 1.150597 a one

									 4 0.077367 -0.282876 a one, 'b': data1 data2 key1 key2

									 1 0.791463 1.096693 b two

									 3 -0.216121 1.381333 b two}

									#对字典取值

									value = piece['a']

groupby默认是在axis=0上进行分组的，通过设置也可以在其他任何轴上进行分组

									grouped=df.groupby(df.dtypes, axis=1)

									value = dict(list(grouped))

									print(value)

									{dtype('float64'): data1 data2

									0 -1.313101 -0.453361

									1 0.791463 1.096693

									2 0.462611 1.150597

									3 -0.216121 1.381333

									4 0.077367 -0.282876, dtype('O'): key1 key2

									0 a one

									1 b two

									2 a one

									3 b two

									4 a one}

对于大数据，很多情况是只需要对部分列进行聚合

									#对df进行'key1'，'key2'的两次分组，然后取data2的数据，对两次细分的分组数据取均值

									value = df.groupby(['key1','key2'])[['data2']].mean()

									 data2

									key1 key2 

									a one 0.138120

									b two 1.239013

									----------------------------------

									df

									Out[1]: 

									 data1 data2 key1 key2

									0 -1.313101 -0.453361 a one

									1 0.791463 1.096693 b two

									2 0.462611 1.150597 a one

									3 -0.216121 1.381333 b two

									4 0.077367 -0.282876 a one

									----------------------------------

									df['key2'].iloc[-1] ='two'

									value = df.groupby(['key1','key2'])[['data2']].mean()

									value

									Out[2]: 

									 data2

									key1 key2 

									a one 0.348618

									 two -0.282876

									b two 1.239013

Python中的分组函数（groupby、itertools）

									from operator import itemgetter #itemgetter用来去dict中的key，省去了使用lambda函数

									from itertools import groupby #itertool还包含有其他很多函数，比如将多个list联合起来。。

									d1={'name':'zhangsan','age':20,'country':'China'}

									d2={'name':'wangwu','age':19,'country':'USA'}

									d3={'name':'lisi','age':22,'country':'JP'}

									d4={'name':'zhaoliu','age':22,'country':'USA'}

									d5={'name':'pengqi','age':22,'country':'USA'}

									d6={'name':'lijiu','age':22,'country':'China'}

									lst=[d1,d2,d3,d4,d5,d6]

									#通过country进行分组：

									lst.sort(key=itemgetter('country')) #需要先排序，然后才能groupby。lst排序后自身被改变

									lstg = groupby(lst,itemgetter('country')) 

									#lstg = groupby(lst,key=lambda x:x['country']) 等同于使用itemgetter()

									for key,group in lstg:

									 for g in group: #group是一个迭代器，包含了所有的分组列表

									 print key,g

									返回：

									China {'country': 'China', 'age': 20, 'name': 'zhangsan'}

									China {'country': 'China', 'age': 22, 'name': 'lijiu'}

									JP {'country': 'JP', 'age': 22, 'name': 'lisi'}

									USA {'country': 'USA', 'age': 19, 'name': 'wangwu'}

									USA {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}

									USA {'country': 'USA', 'age': 22, 'name': 'pengqi'}

									print [key for key,group in lstg] #返回：['China', 'JP', 'USA']

									print [(key,list(group)) for key,group in lstg]

									#返回的list中包含着三个元组：

									[('China', [{'country': 'China', 'age': 20, 'name': 'zhangsan'}, {'country': 'China', 'age': 22, 'name': 'lijiu'}]), ('JP', [{'country': 'JP', 'age': 22, 'name': 'lisi'}]), ('USA', [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}])]

									print dict([(key,list(group)) for key,group in lstg])

									#返回的是一个字典：

									{'JP': [{'country': 'JP', 'age': 22, 'name': 'lisi'}], 'China': [{'country': 'China', 'age': 20, 'name': 'zhangsan'}, {'country': 'China', 'age': 22, 'name': 'lijiu'}], 'USA': [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}]}

									print dict([(key,len(list(group))) for key,group in lstg])

									#返回每个分组的个数：

									{'JP': 1, 'China': 2, 'USA': 3}<br>

										#返回包含有2个以上元素的分组

										print [key for key,group in groupby(sorted(lst,key=itemgetter('country')),itemgetter('country')) if len(list(group))>=2]

										#返回：['China', 'USA']

										lstg = groupby(sorted(lst,key=itemgetter('country')),key=itemgetter('country')) 

										lstgall=[(key,list(group)) for key,group in lstg ]

										print dict(filter(lambda x:len(x[1])>2,lstgall)) 

										#过滤出分组后的元素个数大于2个的分组，返回：

										{'USA': [{'country': 'USA', 'age': 19, 'name': 'wangwu'}, {'country': 'USA', 'age': 22, 'name': 'zhaoliu'}, {'country': 'USA', 'age': 22, 'name': 'pengqi'}]}<br>

自定义分组：

									from itertools import groupby

									lst=[2,8,11,25,43,6,9,29,51,66]

									def gb(num):

									 if num <= 10:

									 return 'less'

									 elif num >=30:

									 return 'great'

									 else:

									 return 'middle'

									print [(k,list(g))for k,g in groupby(sorted(lst),key=gb)]

									返回：

									[('less', [2, 6, 8, 9]), ('middle', [11, 25, 29]), ('great', [43, 51, 66])]