[python/파이썬] 판다스 프로파일링(Pandas-Profiling)

판다스 프로파일링(Pandas Profiling)

좋은 머신 러닝 결과를 얻기 위해서 데이터의 성격을 파악하는 과정이 선행되어야 한다. 이 과정에서 데이터 내 값의 분포, 변수 간의 관계, Null값과 같은 결측값(missing values)존재 유무 등을 파악하게 되는데 이와 같이 데이터를 파악하는 과정을 EDA(Exploratory Data Analysis, 탐색적 데이터 분석) 이라고 한다. 이러한 탐색적 데이터 분석에 드는 시간을 절약하기 위해 몇 줄의 코드로 여러 분석 통계량을 확인할 수 있는 기능을 제공하는 하는 데 이를 판다스 프로파일링(Pandas-Profiling) 이라고 한다.

1. pip 명령을 통해 패키지 설치

pip install -U pandas-profiling

2. 데이터 로드하기

import numpy as np
import pandas as pd
from pandas_profiling import ProfileReport

import seaborn as sns

df = sns.load_dataset('iris')

df.head()

3. 프로파일 리포트 생성하기

profile = df.profile_report() # 프로파일링 결과 리포트를 profile에 저장
profile # 리포트 확인

# 프로파일 리포트를 html 형식으로 저장
profile.to_file('./pr_report.html')

Overview 부터 해서 Variables, Interactions, Correlations, Missing values, Sample 등을 살펴볼 수 있다.]

4. 리포트 살펴보기