• 

  쥬피터노트북에 chatgpt 적용 하기 최근 개발자들 사이 쳇gpt는 필수적인 도구로 자리 잡았다. 그러나 아직도 코드를 복사-붙여넣기하여 ChatGPT를 이용하는 사람이 많다. 챗지피티를 이용한 데이터분석과 시각화 마스터하기 >> 이번 포스팅에서는 이 확장 기능을 사용하여 개발 생산성을 극대화하는 방법을 소개한다. 그 주인공은 ChatGPT extension(주피터노트북 용)이다. 지금 바로 시작해보자. 익스텐션 설치 방법 크롬 사용자라면 아래 웹사이트에서 바로 설치 할 수 있다. ChatGPT - Jupyter - AI Assistant ChatGPT-powered AI assistant for Jupyter Notebooks chrome.google.com 1. [ic]Chrome에 추가[/ic] 클릭 참고) 다른 브라우저를 사용할 경우.. 머신러닝,딥러닝 2023. 5. 4.

• 

  mmdetection 커스텀/모델 학습 완벽정리 (이 포스팅은 해당 포스팅을 읽고 왔다는 전제로 작성되었습니다.) 이제 본격적으로 custom을 통해 우리 데이터를 학습시켜보자. 디테일한 내용은 큰 흐름을 방해할 수 있기에 중요 부분을 위주로 정리한다. mmdetection에서는 다양한 데이터 셋 형태를 지원한다. 개인적으로 코코데이터셋이 mmdetection을 사용할때 가장 편리해 CocoData를 기준으로 한다. 이 글과 읽으면 좋은글 YOLO 포맷, COCO 포맷으로 쉽게 변경하는 방법 Config파일 Custom 사용할 데이터셋 지정 from mmdet.datasets.builder import DATASETS from mmdet.datasets.coco import CocoDataset @DATASETS.register_module(force.. 머신러닝,딥러닝/computer vision 2023. 1. 17.

• 

  mmdetection config 이해하기 mmdetection을 원하는 대로 커스텀하기 위해선 config파일을 이해해야 한다.하지만 config에 대한 진입 장벽이 있다 보니 많은 이들이 이 부분에서 포기한다. 이번 포스팅을 통해 확실하게 이해하자.  이 글을 읽기 전 선수 지식 포스팅mmdetection 사용법(설치 및 기본 세팅) | inference 방법 config 파일 컨셉 이해모델 config파일을 열어보면 (예제는 faster rcnn 기준)  config 파일 코드가 상당히 심플하다.그 이유는 해당 파일은 여러 config파일들을 한 군데로 모아주는 역할만 하기 때문이다.  _base_에 할당된 값을 보면 각 파일 경로가 리스트형태로 묶여 있다.그 정보를 한데 모아 사용하겠다는 거다. config파일은 크게 4가지로 구성된다. .. 머신러닝,딥러닝/computer vision 2023. 1. 12.

• 

  YOLO 포맷, COCO 포맷으로 쉽게 변경하는 방법 [ic]yolo format[/ic]을 [ic]coco format[/ic]으로 변경하는 방법에 대해 소개한다. (해당 포스팅은 사이트를 참고하였다.) Prerequisite 아나콘다 환경 구성 및 필요한 모듈 설치 conda create -n Yolo-to-COCO python=3.8 conda activate Yolo-to-COCO pip install numpy pip install opencv pip install imagesize 설치하고자 하는 디렉토리 접근 후 [ic]git clone[/ic] git clone https://github.com/Taeyoung96/Yolo-to-COCO-format-converter.git cd Yolo-to-COCO-format-converter annot.. 머신러닝,딥러닝 2023. 1. 10.

• 

  [sklearn] 'stratify' 의 역할(train_test_split) [ic]train_test_split[/ic]에서 [ic]stratify[/ic]가 뭐 하는 녀석인지 헷갈리는가? 그렇다면 잘 들어왔다. 이번 포스팅에서는 [ic]stratify[/ic]를 미적용했을 때 어떤 문제가 발생하는지 알아보고, [ic]stratify[/ic]를 통해 문제를 해결해볼 거다. 1) 예제 데이터 준비 df_2 = pd.DataFrame({'class_id': ['A', 'A', 'A', 'A', 'A','A' ,'B', 'B', 'B'], 'feature1': [1, 2, 3, 4, 5, 6, 7, 8, 9],}) print(df_2) 2) [ic]stratify[/ic] 미적용 from sklearn.model_selection import train_test_split train.. 머신러닝,딥러닝 2023. 1. 5.

• 

  [Keras] Tokenizer 사용 방법 / 예제 [ic]Tokenizer[/ic]는 토큰화와 정수인코딩을 할 때 사용되는 모듈이다. Tokenization(토큰화) 란? 텍스트 뭉치를 단어, 구 등 의미있는 element로 잘게 나누는 작업을 의미한다. 정수인코딩 이란? 딥러닝 모델이 읽을 수 있도록 토큰화된 문자를 숫자로 변경해주는 작업이다. 1. 준비 사항 1) 데이터 준비 data_list = [ '오늘 내 주식 올랐다', '오늘도 수고했어', '너는 할 수 있어', '오늘 날씨가 좋다', '지금처럼만 하면 잘될거야', '넌 너를 좋아해', '지금 정말 잘하고 있어', '사랑해', '오늘 점심 맛있다', ] 2) 모듈 import from tensorflow.keras.preprocessing.text import Tokenizer 2. [ic].. 머신러닝,딥러닝/NLP 2023. 1. 4.

• 

  [keras] 패딩(padding) 하는법 with pad_sequences 자연어처리에서 [ic]Padding[/ic]을 왜 해줄까? 각 문장 길이가 다르면 병렬 연산이 어렵기 때문이다. 이때 패딩을 통해 고정된 길이를 맞춰주면 작업이 용이하다. 1) 데이터 준비 길이가 다른 각 문장을 정수 인코딩한 형태다. data = [ [1, 2, 3], [4, 5], [6, 7, 8, 9, 10, 11] ] 2) [ic]pad_sequences[/ic] 사용법 keras에서 제공하는 [ic]pad_sequences[/ic] 를 통해 패딩을 적용해보겠다. from keras_preprocessing.sequence import pad_sequences (1) default 세팅 data_padded = pad_sequences(sequences=data) print(data_padded).. 머신러닝,딥러닝/NLP 2023. 1. 2.

• 

  [pytorch] nn.BCEWithLogitsLoss VS nn.BCELoss 차이 [ic]nn.BCEWithLogitsLoss[/ic] 와 [ic]nn.BCELoss[/ic]는 둘 다 [ic]이진 분류(binary classification)[/ic]에 사용되는 로스함수다. 이번 포스팅에서는 두함수의 차이를 알아볼 거다. 1) 예제 코드 준비 (1) 모델 생성 import torch import torch.nn as nn # Define a simple model that takes in a single input and produces a single output class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.linear = nn.Linear(1, 1) def forward(self, x).. 머신러닝,딥러닝/딥러닝 2022. 12. 30.

• 

  [pytorch] 모델 save/load 하는 방법 파이토치 모델을 저장하고, 저장된 모델을 다시 불러오는 방법에 대해 알아보자. 이 글과 읽으면 좋은글 [딥러닝] Fine Tuning(미세 조정) 꿀 tip [pytorch] model.eval() vs torch.no_grad() 차이 [pytorch] transforms.Compose 사용 방법 1. custom 모델 생성 예제에서 사용할 간단한 모델을 생성하자. class LinearRegressionModel(nn.Module): def __init__(self): super().__init__() # Parameter 초기화 self.weights = nn.Parameter(torch.randn(1, requires_grad=True, dtype=torch.float)) # Parameter 생.. 머신러닝,딥러닝/딥러닝 2022. 12. 29.

• 

  [pytorch] Subset 사용법 정리 [ic]Subset[/ic] 모듈은 데이터셋을 관리하는데 편리함을 제공한다. 먼저 기본 컨셉부터 이해하자. 1) [ic]Subset[/ic] 기본 컨셉 (1) toy 데이터셋 준비 import torch from torch.utils.data import Subset, DataLoader # Create a dataset with 5 examples dataset = torch.tensor([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]]) print(dataset) #output ''' tensor([[ 1, 2], [ 3, 4], [ 5, 6], [ 7, 8], [ 9, 10]]) ''' (2) 추출하고 싶은 데이터의 인덱스 넘버 # Create a list of indice.. 머신러닝,딥러닝/딥러닝 2022. 12. 29.

• 

  [딥러닝] Fine Tuning(미세 조정) 꿀 tip Fine tuning 이란? pre-trained 모델을 새로운 Task에 적용시키는 과정을 말한다. 그 과정은 아래와 같이 분류할 수있다. 1. 새 데이터를 통해 모델 파라미터를 업데이트 2. 새 Task에 맞게 모델 구조 변형 이 글과 읽으면 좋은 글 [pytorch] fine-tuning 예제 [pytorch] model.eval() vs torch.no_grad() 차이 이번 포스팅에서는 Fine Tuning(미세조정)을 효과적으로 할 수 있는 아이디어를 제시하고자 한다. 크게 4가지 케이스로 분류 가능하다. 1) 새 데이터셋이 클 경우 (1) pretrained 데이터와 유사성이 크다. 가장 좋은 상황으로 모든 옵션이 가능하다. [ic]feature extractor[/ic] 뒷부분과 [ic]c.. 머신러닝,딥러닝/딥러닝 2022. 12. 27.

• 

  [pytorch] pretrained model 쉽게 사용하는 방법 이번 포스팅에서는 사전학습 모델(pretrained model)을 사용하는 법을 알아보자. 사전학습 모델(pretrained model)은 torchvision에서 기본 제공한다. FAQ. 1. 전이 학습이란? 다른 데이터셋으로 잘학습되어 있는 모델을 사용 장점: 이미 다량의 데이터로 학습되어 있기 때문에 데이터 부족 문제 해결 2. 학습된 데이터셋이 우리가 사용하려는 데이터셋과 전혀 다르다면 효과가 없지 않나? 데이터 셋과 연관도가 낮다면 상대적으로 성능은 떨어질 수 있다. 하지만 가지고 있는 데이터가 적다면 pretrained 모델을 사용하는 것이 더 좋다. 본 포스팅은 아래 순서로 진행된다. 1. 사용 가능 모델 확인 2. 모델 로드하기 3. 모델변경해보기(fine-tuning) 4. transfo.. 머신러닝,딥러닝/딥러닝 2022. 12. 26.