데이터사이언스
-
[MySQL & CSV] 대용량 데이터 CSV파일 MySQL로 import하기 / 로컬 환경, MySQL WorkbenchMySQL 2023. 7. 11. 14:10
1. 자료형에 알맞게 테이블을 형성한다. 해당 코드는 utf8mb4로 테이블을 형성하는 코드이다. CREATE TABLE 스키마이름.테이블이름 ( CASENUMBER text, CASESTATUS text, (이하 컬럼에 알맞은 자료형으로 table 생성) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; 2. 테이블이 잘 형성되었는지 확인하고 다음 코드를 시도해본다. 대용량 데이터는 MySql Workbench의 'import'로 불러오기에는 너무 많은 시간이 걸린다. 그래서 infile코드로 빠르게 불러올 수 있다. 몇만개의 데이터를 몇십초 안에 불러올 수 있다. LOAD DATA LOCAL INFILE 'C:/..
-
[Colab & Kaggle] Colab에 Kaggle 연동하기음악/MIR (Music information retrieval) 2023. 5. 18. 11:35
Colab과 Kaggle을 연동해보자 ! 우측 상단에 있는 프로필에 들어가서 settings를 클릭한다. settings 아래에 내리면 api가 있는데, create New Token을 눌러서 api를 형성한다. kaggle.json이 자동으로 다운된다. !pip install kaggle #colab에서 kaggle 다운로드 from google.colab import files files.upload() #kaggle의 API를 형성할 때 생기는 파일을 업로드하면 됨 코랩에 파일을 선택하라는 버튼이 나오면, 방금 다운받아졌던 kaggle.json을 업로드한다. #kaggle 파일 형성 생성 !mkdir -p ~/.kaggle !cp kaggle.json ~/.kaggle/kaggle.json #per..