반응형
JSON
-
파이썬 json 데이터 저장 시 시스템 RAM이 부족하다면 (to_json, to_numpy) __ 코랩에서 시스템 RAM 사용량 보는 방법인공지능 2023. 9. 30. 16:34
크기가 방대한 데이터를 저장하려고 할 때 to_json으로 저장을 하다가 시스템 RAM이 부족할 수 있다. (코랩에서 시스템 RAM의 사용량은 아래와 같이, 우측 상단의 RAM 및 디스크 버튼을 누르면 확인할 수 있다.) 나는 to_json으로 데이터를 저장할 때 코랩의 RAM 용량이 넘쳐서 갑자기 프로그램이 중단되는 현상을 반복적으로 목격했다. 실제 데이터의 용량보다 저장할 때 더 큰 용량을 필요로하는 것 같았다. file_path = "주소/파일이름.json" song_pair_data.to_json(file_path) 하지만 저장하는데에 그 목적이 있다면, np.save로 빠른 시간 내에 데이터를 저장하고, 용량 문제도 해결할 수 있다. 확장자는 npy이고, 몇 십분 걸리던 일이 1초 이내로 해결된..