파이썬 json 데이터 저장 시 시스템 RAM이 부족하다면 (to_json, to_numpy) __ 코랩에서 시스템 RAM 사용량 보는 방법

크기가 방대한 데이터를 저장하려고 할 때 to_json으로 저장을 하다가 시스템 RAM이 부족할 수 있다. 

(코랩에서 시스템 RAM의 사용량은 아래와 같이, 우측 상단의 RAM 및 디스크 버튼을 누르면 확인할 수 있다.) 

코랩에서 시스템 RAM 확인하기

 

나는 to_json으로 데이터를 저장할 때 코랩의 RAM 용량이 넘쳐서 갑자기 프로그램이 중단되는 현상을 반복적으로 목격했다. 실제 데이터의 용량보다 저장할 때 더 큰 용량을 필요로하는 것 같았다. 

file_path = "주소/파일이름.json"
song_pair_data.to_json(file_path)

하지만 저장하는데에 그 목적이 있다면, np.save로 빠른 시간 내에 데이터를 저장하고, 용량 문제도 해결할 수 있다. 확장자는 npy이고, 몇 십분 걸리던 일이 1초 이내로 해결된다. 

array = df.to_numpy()
np.save('주소/파일이름.npy', array)

 

* 주의 사항

컬럼에 대한 정보, index에 대한 정보가 없어질 수 있다. 

 

 

 

---

불러올 때는 다음과 같이 불러오면 된다. 

loaded_array = np.load("주소/파일이름.npy", allow_pickle=True)

allow_pickle=True 코드를 넣지 않으면 돌아가지 않을 때가 있는데, 해당 코드에 대해 추가적인 서치 후 안전하다고 판단되면 사용하기를 권장한다. 

 

loaded_array는 array의 형태이므로, 컬럼을 간단하게 지정해주어 dataframe 형태로 나타낼 수 있다. 

song_pair_data = pd.DataFrame(loaded_array, columns=[컬럼 리스트])