데이터분석 전처리 | 파이썬 pickle | 데이터 용량을 줄여주는 pickle 사용법

 

 

1. pickle

 

▶ pickle 이란?

: python의 변수, 함수, 객체를 파일로 저장하고 불러올 수 있는 라이브러리

• list, dictionary 등을 파일 그대로 저장하면 용량이 매우 커지는데
  pickle을 사용하면 binary 형태로 저장되기 때문에 용량이 매우 작아짐
• 추가적으로 gzip을 이용해서 pickle로 저장된 데이터를 압출할 수 있음
• pandas에서 사용할 때는 to_pickle( ) 및 read_pickle( ) 메소드 활용
• 머신러닝 모델 등을 저장하고 불러올 때도 활용

▶ pickle 활용 예시

import pandas as pd

df_ex_tips = pd.read_csv('temp/tips_data.csv')
df_ex_tips.head()

 

① pickle 저장하기

: 데이터프레임을 pickle 파일로 저장

# 'dataframe_tips.pkl' 파일로 저장
df_ex_tips.to_pickle('dataframe_tips.pkl')

 

② pickle 불러오기

: pickle 파일에서 데이터프레임 불러오기

# 'dataframe_tips.pkl' 파일에서 데이터프레임 불러오기
loaded_df = pd.read_pickle('dataframe_tips.pkl')