data
-
파이썬 json 데이터 저장 시 시스템 RAM이 부족하다면 (to_json, to_numpy) __ 코랩에서 시스템 RAM 사용량 보는 방법인공지능 2023. 9. 30. 16:34
크기가 방대한 데이터를 저장하려고 할 때 to_json으로 저장을 하다가 시스템 RAM이 부족할 수 있다. (코랩에서 시스템 RAM의 사용량은 아래와 같이, 우측 상단의 RAM 및 디스크 버튼을 누르면 확인할 수 있다.) 나는 to_json으로 데이터를 저장할 때 코랩의 RAM 용량이 넘쳐서 갑자기 프로그램이 중단되는 현상을 반복적으로 목격했다. 실제 데이터의 용량보다 저장할 때 더 큰 용량을 필요로하는 것 같았다. file_path = "주소/파일이름.json" song_pair_data.to_json(file_path) 하지만 저장하는데에 그 목적이 있다면, np.save로 빠른 시간 내에 데이터를 저장하고, 용량 문제도 해결할 수 있다. 확장자는 npy이고, 몇 십분 걸리던 일이 1초 이내로 해결된..
-
[MySQL & CSV] 대용량 데이터 CSV파일 MySQL로 import하기 / 로컬 환경, MySQL WorkbenchMySQL 2023. 7. 11. 14:10
1. 자료형에 알맞게 테이블을 형성한다. 해당 코드는 utf8mb4로 테이블을 형성하는 코드이다. CREATE TABLE `스키마이름`.`테이블이름` ( `CASE_NUMBER` text, `CASE_STATUS` text, (이하 컬럼에 알맞은 자료형으로 table 생성) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; 2. 테이블이 잘 형성되었는지 확인하고 다음 코드를 시도해본다. 대용량 데이터는 MySql Workbench의 'import'로 불러오기에는 너무 많은 시간이 걸린다. 그래서 infile코드로 빠르게 불러올 수 있다. 몇만개의 데이터를 몇십초 안에 불러올 수 있다. LOAD DATA LOCAL INFILE 'C:/..