• 

  [sklearn] 'stratify' 의 역할(train_test_split) [ic]train_test_split[/ic]에서 [ic]stratify[/ic]가 뭐 하는 녀석인지 헷갈리는가? 그렇다면 잘 들어왔다. 이번 포스팅에서는 [ic]stratify[/ic]를 미적용했을 때 어떤 문제가 발생하는지 알아보고, [ic]stratify[/ic]를 통해 문제를 해결해볼 거다. 1) 예제 데이터 준비 df_2 = pd.DataFrame({'class_id': ['A', 'A', 'A', 'A', 'A','A' ,'B', 'B', 'B'], 'feature1': [1, 2, 3, 4, 5, 6, 7, 8, 9],}) print(df_2) 2) [ic]stratify[/ic] 미적용 from sklearn.model_selection import train_test_split train.. 머신러닝,딥러닝 2023. 1. 5.

• 

  [Keras] Tokenizer 사용 방법 / 예제 [ic]Tokenizer[/ic]는 토큰화와 정수인코딩을 할 때 사용되는 모듈이다. Tokenization(토큰화) 란? 텍스트 뭉치를 단어, 구 등 의미있는 element로 잘게 나누는 작업을 의미한다. 정수인코딩 이란? 딥러닝 모델이 읽을 수 있도록 토큰화된 문자를 숫자로 변경해주는 작업이다. 1. 준비 사항 1) 데이터 준비 data_list = [ '오늘 내 주식 올랐다', '오늘도 수고했어', '너는 할 수 있어', '오늘 날씨가 좋다', '지금처럼만 하면 잘될거야', '넌 너를 좋아해', '지금 정말 잘하고 있어', '사랑해', '오늘 점심 맛있다', ] 2) 모듈 import from tensorflow.keras.preprocessing.text import Tokenizer 2. [ic].. 머신러닝,딥러닝/NLP 2023. 1. 4.

• 

  C#에서 파이썬 파일 실행 시키는 방법 완벽정리(with Process) 어떻게 python파일을 c#에서 실행시킬 수 있을까? 여러 방법이 있지만 이번에 소개할 내용은 [ic]Process()[/ic]를 이용한 방법이다. 1.예제 코드 준비 / 기본 컨셉 1) python코드 //test1.py print('hello world\n hello world2\n hello world3' ) 2) C# 코드 [ic]test1.py[/ic]를 c#에서 동작시켜 보겠다. 기본적으로 2가지 컨셉이 있다. 동작원리는 같지만 코드 형태가 조금 다르기 때문에 소개한다. (1) [ic]Process()[/ic] 객체 생성방식 Process process = new Process(); [ic]Process[/ic] 객체를 생성한다. // Set the file path of the Python.. c# 2023. 1. 3.

• 

  [keras] 패딩(padding) 하는법 with pad_sequences 자연어처리에서 [ic]Padding[/ic]을 왜 해줄까? 각 문장 길이가 다르면 병렬 연산이 어렵기 때문이다. 이때 패딩을 통해 고정된 길이를 맞춰주면 작업이 용이하다. 1) 데이터 준비 길이가 다른 각 문장을 정수 인코딩한 형태다. data = [ [1, 2, 3], [4, 5], [6, 7, 8, 9, 10, 11] ] 2) [ic]pad_sequences[/ic] 사용법 keras에서 제공하는 [ic]pad_sequences[/ic] 를 통해 패딩을 적용해보겠다. from keras_preprocessing.sequence import pad_sequences (1) default 세팅 data_padded = pad_sequences(sequences=data) print(data_padded).. 머신러닝,딥러닝/NLP 2023. 1. 2.

• 

  [python] 파이썬 for else 구문 완벽 정리 [ic]for 문[/ic]과 [ic]else 구문[/ic]이 결합된 요상한 구문에 대해 알아보자. 1) [ic]for-else[/ic] 구문 생김새 numbers = [1, 3, 5] for number in numbers: print(number) else: print("반복문 끝") # output ''' 1 3 5 반복문 끝 ''' [ic]for loop[/ic] 뒤에 [ic]else 문[/ic]을 붙여준다. 이때 [ic]else[/ic]는 [ic]for[/ic]과 같은 위치 선상이어야 한다. 작동방식은[ic]for[/ic] 문을 다 돌고 난 뒤 [ic]else[/ic] 구문내 코드를 실행시키는 구조다. 여기서 궁금증이 생긴다. 왜 굳이..? numbers = [1, 3, 5] for number .. 파이썬/파이썬 기초 2023. 1. 2.

• 

  [pytorch] nn.BCEWithLogitsLoss VS nn.BCELoss 차이 [ic]nn.BCEWithLogitsLoss[/ic] 와 [ic]nn.BCELoss[/ic]는 둘 다 [ic]이진 분류(binary classification)[/ic]에 사용되는 로스함수다. 이번 포스팅에서는 두함수의 차이를 알아볼 거다. 1) 예제 코드 준비 (1) 모델 생성 import torch import torch.nn as nn # Define a simple model that takes in a single input and produces a single output class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.linear = nn.Linear(1, 1) def forward(self, x).. 머신러닝,딥러닝/딥러닝 2022. 12. 30.

• 

  [pytorch] 모델 save/load 하는 방법 파이토치 모델을 저장하고, 저장된 모델을 다시 불러오는 방법에 대해 알아보자. 이 글과 읽으면 좋은글 [딥러닝] Fine Tuning(미세 조정) 꿀 tip [pytorch] model.eval() vs torch.no_grad() 차이 [pytorch] transforms.Compose 사용 방법 1. custom 모델 생성 예제에서 사용할 간단한 모델을 생성하자. class LinearRegressionModel(nn.Module): def __init__(self): super().__init__() # Parameter 초기화 self.weights = nn.Parameter(torch.randn(1, requires_grad=True, dtype=torch.float)) # Parameter 생.. 머신러닝,딥러닝/딥러닝 2022. 12. 29.

• 

  [pytorch] Subset 사용법 정리 [ic]Subset[/ic] 모듈은 데이터셋을 관리하는데 편리함을 제공한다. 먼저 기본 컨셉부터 이해하자. 1) [ic]Subset[/ic] 기본 컨셉 (1) toy 데이터셋 준비 import torch from torch.utils.data import Subset, DataLoader # Create a dataset with 5 examples dataset = torch.tensor([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]]) print(dataset) #output ''' tensor([[ 1, 2], [ 3, 4], [ 5, 6], [ 7, 8], [ 9, 10]]) ''' (2) 추출하고 싶은 데이터의 인덱스 넘버 # Create a list of indice.. 머신러닝,딥러닝/딥러닝 2022. 12. 29.

• 

  [딥러닝] Fine Tuning(미세 조정) 꿀 tip Fine tuning 이란? pre-trained 모델을 새로운 Task에 적용시키는 과정을 말한다. 그 과정은 아래와 같이 분류할 수있다. 1. 새 데이터를 통해 모델 파라미터를 업데이트 2. 새 Task에 맞게 모델 구조 변형 이 글과 읽으면 좋은 글 [pytorch] fine-tuning 예제 [pytorch] model.eval() vs torch.no_grad() 차이 이번 포스팅에서는 Fine Tuning(미세조정)을 효과적으로 할 수 있는 아이디어를 제시하고자 한다. 크게 4가지 케이스로 분류 가능하다. 1) 새 데이터셋이 클 경우 (1) pretrained 데이터와 유사성이 크다. 가장 좋은 상황으로 모든 옵션이 가능하다. [ic]feature extractor[/ic] 뒷부분과 [ic]c.. 머신러닝,딥러닝/딥러닝 2022. 12. 27.

• 

  [pytorch] pretrained model 쉽게 사용하는 방법 이번 포스팅에서는 사전학습 모델(pretrained model)을 사용하는 법을 알아보자. 사전학습 모델(pretrained model)은 torchvision에서 기본 제공한다. FAQ. 1. 전이 학습이란? 다른 데이터셋으로 잘학습되어 있는 모델을 사용 장점: 이미 다량의 데이터로 학습되어 있기 때문에 데이터 부족 문제 해결 2. 학습된 데이터셋이 우리가 사용하려는 데이터셋과 전혀 다르다면 효과가 없지 않나? 데이터 셋과 연관도가 낮다면 상대적으로 성능은 떨어질 수 있다. 하지만 가지고 있는 데이터가 적다면 pretrained 모델을 사용하는 것이 더 좋다. 본 포스팅은 아래 순서로 진행된다. 1. 사용 가능 모델 확인 2. 모델 로드하기 3. 모델변경해보기(fine-tuning) 4. transfo.. 머신러닝,딥러닝/딥러닝 2022. 12. 26.

• 

  [pytorch] nn.Dropout inplace 역할은 무엇일까? [ic]nn.Dropout(p=0.2)[/ic] 확률을 의미하는 p인자는 익숙한 사람이 많다. 하지만 [ic]nn.Dropuout(p=0.2, inplace=True)[/ic]와 같이 [ic]inplace[/ic]가 붙어 있는걸 보는 순간 불편하다. 이번 포스팅에서는 [ic]inplace= True[/ic]일때와 [ic]False[/ic]일때 어떤 차이가 있는지 알아보자. 이 글과 읽으면 좋은글 [pytorch] transforms.Compose 사용 방법 [pytorch] ImageFolder 사용 방법 [pytorch] model.eval() vs torch.no_grad() 차이 1) [ic]inplace=False[/ic] 인경우 import torch import torch.nn as nn to.. 머신러닝,딥러닝/딥러닝 2022. 12. 23.

• 

  [javascript] .replace() 사용방법 [ic].replace()[/ic] 메소드는 특정 문자열을 다른 문자열로 대체 하고 싶을 때 사용한다. 크게 2가지 방식으로 사용된다. 1) 특정 문자열 지정 방법 let str = "Hello World!"; // Replace "World" with "JavaScript" let newStr = str.replace("World", "JavaScript"); console.log(newStr); // Output: "Hello JavaScript!" str.replace(A,B) A 변경하고 싶은 문자 B 변경될 문자 2) 정규표현식(regular expression) 사용 let str = "Hello World!"; // Replace the first occurrence of the letter.. 자바스크립트 2022. 12. 22.