인공지능
-
[ChatGPT] 챗지피티로 음성인식 하는 파이썬 코드 작성 / 강의 요약, 회의록 작성 등 응용인공지능 2024. 6. 8. 19:02
본 게시글에서는 openAI 사용을 위한 가상환경 세팅 등의 내용은 생략한다. 이에 대한 것은 아래 글에서 확인할 수 있다. https://chocohaim1121.tistory.com/144 파이썬(주피터)으로 챗지피티 파인튜닝 하기 / 콘다 가상환경 세팅, Chat GPT fine-tuning for python with j파이썬으로 챗지피티 3.5를 파인튜닝 해보자. 내가 알기로는 현재(2024.01.24 기준) chat gpt 4는 파인튜닝이 안되고, chat gpt 3.5는 가능하다. 가상환경 설치 & OpenAI 설치 conda 환경에서 진행했다. $ conda crchocohaim1121.tistory.com Jupyter 및 Conda 환경을 이용했다. 1. Anaconda Prompt..
-
파이썬(주피터)으로 챗지피티 파인튜닝 하기 / 콘다 가상환경 세팅, Chat GPT fine-tuning for python with jupyter, conda인공지능/chat GPT 2024. 1. 24. 17:48
파이썬으로 챗지피티 3.5를 파인튜닝 해보자. 내가 알기로는 현재(2024.01.24 기준) chat gpt 4는 파인튜닝이 안되고, chat gpt 3.5는 가능하다. 가상환경 설치 & OpenAI 설치 conda 환경에서 진행했다. condacreate−n가상환경이름python=3.7먼저,다른버전들과겹쳐서설치가불가능해지기전에conda를이용하여가상환경을설치한다.서치결과,파이썬으로확인했을때openai1.8.0버전은파이썬3.7이상의버전에서작동하므로,(github의안내를참고하기바람)3.7로깔았다. conda create -n ChatGPT python=3.7 위의 코드를 동작시키면 ChatGPT라는 이름을 가진 가상환경이 생긴다. oepna..
-
Error code: 400 The model gpt-3.5-turbo requires data in the chat-completion format 해결하기 / chat GPT 파인튜닝(fine-tuning) jsonl 데이터 구축인공지능/chat GPT 2024. 1. 24. 09:11
에러 해결하기 챗지피티(chat GPT) 파인튜닝을 할 때 다음과 같은 에러가 뜬다면, 데이터 형태의 문제일 수 있다. Error code: 400 - {'error': {'message': "File 'file-(파일 코드)' is in prompt-completion format. The model gpt-3.5-turbo-0613 requires data in the chat-completion format.", 'type': 'invalid_request_error', 'param': None, 'code': 'invalid_file_format'}} 데이터는 다음과 같은 형태로 설정해주고, 10개 이상의 데이터를 만족해야한다. {"messages": [{"role": "system", "cont..
-
[머신러닝] 옵티마이저(Optimizer)의 종류와 개념 정리 / Gradient Descent with Momentum, RMSProp, ADAM, Bias Correction인공지능 2024. 1. 8. 09:34
* 해당 포스팅은 공돌이의 수학정리노트 (Angelo's Math Notes) 게시글을 요약한 내용을 바탕으로 작성되었음. Gradient Descent with Momentum Momemtum을 이용하여 Optimization(최적화)를 진행한다. Gradient descent에서 learning late가 느릴 때, gradient의 이동 축에 따른 관성이 존재하는 것처럼 속도 차이를 두어 parameter들이 진동하면서 수렴할 때에도 빨리 수렴할 수 있도록 하는 방법이다. RMSProp(Root Mean Square Propagation) 위의 방법에서 Gradient의 방향은 제하고 크기만을 고려하여 업데이트하는 방식. 각 파라미터별로 learning rate의 크기를 업데이트 해줄 수 있다는 것..
-
파이썬 json 데이터 저장 시 시스템 RAM이 부족하다면 (to_json, to_numpy) __ 코랩에서 시스템 RAM 사용량 보는 방법인공지능 2023. 9. 30. 16:34
크기가 방대한 데이터를 저장하려고 할 때 to_json으로 저장을 하다가 시스템 RAM이 부족할 수 있다. (코랩에서 시스템 RAM의 사용량은 아래와 같이, 우측 상단의 RAM 및 디스크 버튼을 누르면 확인할 수 있다.) 나는 to_json으로 데이터를 저장할 때 코랩의 RAM 용량이 넘쳐서 갑자기 프로그램이 중단되는 현상을 반복적으로 목격했다. 실제 데이터의 용량보다 저장할 때 더 큰 용량을 필요로하는 것 같았다. file_path = "주소/파일이름.json" song_pair_data.to_json(file_path) 하지만 저장하는데에 그 목적이 있다면, np.save로 빠른 시간 내에 데이터를 저장하고, 용량 문제도 해결할 수 있다. 확장자는 npy이고, 몇 십분 걸리던 일이 1초 이내로 해결된..
-
[virtualenv] Window에서 virtualenv 이용하여 가상환경 만들고 tensorflow 설치하기 / activate 위치, 찾을 수 없을 때인공지능/텐서플로 2022. 2. 10. 14:55
git bash를 이용하여 명령어를 입력하였다. 본 게시글에서 git bash 설치 방법 등은 생략하겠다. ~/tensorflow 디렉터리에 virtualenv 환경을 만든다. 아래 코드를 작성하면 가상환경이 global의 패키지를 상속받으면서 형성된다. $ virtualenv --system-site-packages ~/tensorflow 위와 같은 문구가 뜨면 성공이다. ~ 폴더 내 tensorflow 폴더가 형성된다. 글로벌의 패키지를 상속받기를 원하지 않는다면 --system-site-packages 문구를 사용하지 않으면 된다. 파일이 저장되어 있는 곳에 실제로 들어가보면, Window기준으로 ~./tensorflow/Script/에 activate가 있다. 아래와 같이 코드를 입력하고, (te..
-
[virtualenv] the script virtualenv.exe is installed in 해결 방법인공지능 2022. 2. 10. 13:58
virtualenv는 파이썬 패키지의 의존성이 충돌하지 않도록 관리해주는 툴이다. virtualenv를 사용하여 텐서플로를 설치하면 같이 설치되는 패키지들이 다른 프로젝트에서 설치한 같은 패키지들을 덮어 씌우지 않게 된다. virtualenv를 설치하다보면 the script virtualenv.exe is installed in ~ 과 같은 문구가 뜨곤 하는데, 이를 무시한 채 virtualenv 명령어를 사용하려고 하면 작동하지 않는다. 따라서, 이 경고 아래에 나오는 주소를 복사하여 환경변수 설정을 해주면 오류가 없어진다. 아래는 설치 및 경고 해결 방법이다. pip를 설치 후, (pip 설치는 생략하겠다.) 명령프롬프트(cmd)에서 아래 코드를 입력하여 virtualenv가 있는지 확인한다. pi..