데이터
-
파이썬 json 데이터 저장 시 시스템 RAM이 부족하다면 (to_json, to_numpy) __ 코랩에서 시스템 RAM 사용량 보는 방법인공지능 2023. 9. 30. 16:34
크기가 방대한 데이터를 저장하려고 할 때 to_json으로 저장을 하다가 시스템 RAM이 부족할 수 있다. (코랩에서 시스템 RAM의 사용량은 아래와 같이, 우측 상단의 RAM 및 디스크 버튼을 누르면 확인할 수 있다.) 나는 to_json으로 데이터를 저장할 때 코랩의 RAM 용량이 넘쳐서 갑자기 프로그램이 중단되는 현상을 반복적으로 목격했다. 실제 데이터의 용량보다 저장할 때 더 큰 용량을 필요로하는 것 같았다. file_path = "주소/파일이름.json" song_pair_data.to_json(file_path) 하지만 저장하는데에 그 목적이 있다면, np.save로 빠른 시간 내에 데이터를 저장하고, 용량 문제도 해결할 수 있다. 확장자는 npy이고, 몇 십분 걸리던 일이 1초 이내로 해결된..
-
티스토리 구글 애널리틱스 설정 (Tistory Google Analytics Setting)카테고리 없음 2023. 8. 11. 14:32
구글 애널리틱스를 설정해보자. https://analytics.google.com/analytics/web/?hl=ko#/a281191084p402050806/admin/property/create Redirecting... analytics.google.com 해당사이트에 접속하거나 admin 페이지에 들어가서 속성을 추가한다. 속성을 만드는 페이지가 나오면, 속성 이름과 시간대, 통화를 선택한다. 이후 비지니스 설정을 하고 목표를 선택한다. 이 때, 마지막 항목을 선택하면 다른 항목을 선택할 수 없다. 이제 애널리틱스는 만들어졌으나, 아직 데이터 수집을 할 수 있는 단계는 아니다. 데이터 수집을 위해 설정을 해놓자. 웹을 선택하게 되면, https를 제외한 본인 블로그의 나머지 주소를 복사하여 넣으면..
-
[MySQL & CSV] 대용량 데이터 CSV파일 MySQL로 import하기 / 로컬 환경, MySQL WorkbenchMySQL 2023. 7. 11. 14:10
1. 자료형에 알맞게 테이블을 형성한다. 해당 코드는 utf8mb4로 테이블을 형성하는 코드이다. CREATE TABLE `스키마이름`.`테이블이름` ( `CASE_NUMBER` text, `CASE_STATUS` text, (이하 컬럼에 알맞은 자료형으로 table 생성) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; 2. 테이블이 잘 형성되었는지 확인하고 다음 코드를 시도해본다. 대용량 데이터는 MySql Workbench의 'import'로 불러오기에는 너무 많은 시간이 걸린다. 그래서 infile코드로 빠르게 불러올 수 있다. 몇만개의 데이터를 몇십초 안에 불러올 수 있다. LOAD DATA LOCAL INFILE 'C:/..
-
[AWS PHP] AWS EC2의 php 상에서 이미지 압축imageCreateFromString($im_decode) 이 안될 경우 / Package php5-gd is not available 에러 해결서버 2023. 3. 19. 20:53
imageCreateFromString($im_decode) 안될경우, gd를 깔아준다. 아래와 같은 에러가 발생하면, 서버에 맞는 버전의 gd를 깔아주면 된다. PHP Fatal error: Call to undefined function imagecreatefromjpeg() 특히 gd를 깔다가 아래와 같은 에러를 마주할 경우, Package php5-gd is not available, but is referred to by another package. This may mean that the package is missing, has been obsoleted, or is only available from another source 버전이 맞지 않아서 생긴 문제이므로, 버전을 맞추어 깔아주는 ..
-
[flutter] 플러터에서 StatefulWidget으로 데이터 넘겨주기 / Passing Data(parameter) to a Stateful Widget in Flutter앱 개발/플러터(Flutter) 2022. 8. 7. 02:06
아래와 같이 statefulWidget이 deciveWidth와 deviceHeight라는 매개변수를 State으로 넘겨주고 싶다고 하자. 일단 아래와 같이, deciveWidth와 deviceHeight라는 매개변수는 객체가 형성될 때 받았을 것이다. 그러면 State에서는 아래와 같이 widget.파라미터이름 으로 그 값을 사용할 수 있고, class의 상단에서 초기화해주면 그 이후 코드에서 사용할 수 있다. 참고 : https://stackoverflow.com/questions/50818770/passing-data-to-a-stateful-widget-in-flutter Passing Data to a Stateful Widget in Flutter I'm wondering what the re..