[python/파이썬] 그룹화 - groupby(), agg(), set_index(), reset_index()

그룹화

import pandas as pd

df1 = pd.DataFrame({'ID' : [1, 2, 3, 4, 5], '가입일' : ['2021-01-02', '2021-01-04', '2021-01-10', '2021-02-10', '2021-02-24'], '성별' : ['F', 'M', 'F', 'M', 'M']})
df2 = pd.DataFrame({'구매순서' : [1, 2, 3, 4, 5], 'ID' : [1, 1, 2, 4, 1], '구매월' : [1, 1, 2, 2, 3], '금액' : [1000, 1500, 2000, 3000, 4000]})

-문제 : df1 은 회원의 정보를 저장한 데이터 프레임이며, df2 는 각 회원의 구매 내역을 저장한 데이터 프레임이다. 각 회원의 정보와 구매 내역을 취합하여 하나의 데이터 프레임으로 만들기.

pd.merge(df1, df2, how = 'left', on = 'ID')

groupby()

• groupby(기준이 되는 열이름) : 주어진 데이터를 그룹 별로 구분하여 데이터를 보기 위해 사용되는 함수

1) 여러가지 함수를 활용하여 연산

각각의 column들을 그룹핑하고 그룹핑한 객체를 기반으로 연산

1) count() : 그룹 내 Non-NA 갯수
2) sum() : 그룹 내 Non-NA들의 합
3) min() : 최솟값
4) max() : 최댓값
5) mean() : 평균값
6) std() : 표준편차
7) var() : 분산
8) first() : 그룹 내 Non-NA 값 중 첫번째 값
9) last() : 그룹 내 Non-NA 값 중 마지막 값
10) describe() : 그룹의 기술 통계량

-문제 : df1 은 회원의 정보를 저장한 데이터 프레임이며, df2 는 각 회원의 구매 내역을 저장한 데이터 프레임이다. 각 회원의 누적 금액을 회원 ID 별로 구하기

df2

df2.groupby(by = ['ID'])['금액'].sum()

ID
1 6500
2 2000
4 3000
Name: 금액, dtype: int64

type(df2.groupby(by = ['ID'])['금액'].sum())

pandas.core.series.Series

s2 = df2.groupby(by = ['ID'])['금액'].sum()

pd.merge(df1, s2, how = 'left', on = 'ID')

-문제 : df1 은 회원의 정보를 저장한 데이터 프레임이며, df2 는 각 회원의 구매 내역을 저장한 데이터 프레임이다. 각 회원의 월별 누적 금액을 회원 ID 별로 구하기.

df2

df2.groupby(by = ['ID', '구매월'])['금액'].sum()

ID 구매월
1 1 2500
3 4000
2 2 2000
4 2 3000
Name: 금액, dtype: int64

type(df2.groupby(by = ['ID', '구매월'])['금액'].sum())

pandas.core.series.Series

s2 = df2.groupby(by = ['ID', '구매월'])['금액'].sum()

s2.index

MultiIndex([(1, 1),
(1, 3),
(2, 2),
(4, 2)],
names=['ID', '구매월'])

pd.merge(df1, s2, how = 'left', on = 'ID')

df3 = pd.DataFrame(S2)

df3

df3.index

MultiIndex([(1, 1),
(1, 3),
(2, 2),
(4, 2)],
names=['ID', '구매월'])

pd.merge(df1, df3, how = 'left', on = 'ID')

#그룹을 index 로 사용하고 싶지 않은 경우에는 as_index = False 로 설정
df2.groupby(by = ['ID', '구매월'], as_index = False)['금액'].sum()

type(df2.groupby(by = ['ID', '구매월'], as_index = False)['금액'].sum())

pandas.core.frame.DataFrame

df3 = df2.groupby(by = ['ID', '구매월'], as_index = False)['금액'].sum()

pd.merge(df1, df3, how = 'left', on = 'ID')

2) 활용도가 높은 고급 그룹연산

• agg() : 여러개의 함수를 여러 열에 적용

모든 열에 여러 함수를 매핑 : group객체.agg([함수1, 함수2, 함수3, ...])
각 열마다 다른 함수를 매핑 : group객체.agg({'열1' : 함수1, '열2' : 함수2, ...})

-문제 : df 는 각 회원의 구매 내역을 저장한 데이터 프레임이다. 각 회원의 누적 금액과 누적 구매 횟수를 회원 ID 별로 구하기

df = pd.DataFrame({'구매순서' : [1, 2, 3, 4, 5], 'ID' : [1, 1, 2, 4, 1], '구매월' : [1, 1, 2, 2, 3], '금액' : [1000, 1500, 2000, 3000, 4000], '수수료' : [100, 150, 200, 300, 400]})

df

df.groupby(by = ['ID'])['금액'].agg([sum, len])

df.groupby(by = ['ID'], as_index = False)['금액'].agg([sum, len])

• index를 이용한 데이터 분할
  • set_index() : column 데이터를 index레벨로 변경
  • reset_index() : index 초기화 -> 우리가 원하는 column을 index레벨로 변경

df2 = df.groupby(by = ['ID'])['금액'].agg([sum, len])

df2.reset_index(inplace = True)

df2

-문제 : df 는 각 회원의 구매 내역을 저장한 데이터 프레임이다. 각 회원의 최대 사용 금액 / 최소 사용 금액과 최저 수수료의 값을 구하기.

df

df.groupby(by = ['ID']).agg({'금액' : [max, min], '수수료' : min})

df2 = df.groupby(by = ['ID']).agg({'금액' : [max, min], '수수료' : min})

df2.reset_index()

df2.columns

MultiIndex([( '금액', 'max'),
( '금액', 'min'),
('수수료', 'min')],
)

df2.columns.values

array([('금액', 'max'), ('금액', 'min'), ('수수료', 'min')], dtype=object)

df2.columns = ['_'.join(col) for col in df2.columns.values]

df2

df2.reset_index