• 

  [pytorch] model.eval() vs torch.no_grad() 차이 model.eval(), torch.no_grad() 둘다 train할때 사용 되지 않는다는점에서 공통점이 있다. 이 때문에 막연히 비슷한 기능을 한다고 착각하기 쉽다. 이번 포스팅에선 둘의 기능 차이에 대해 알아보자. 1) model.eval() nn.Module 클래스 메소드다. 이 친구는 training할때 유용한 기능(dropout, batch-normalization)을 작동하지 않게 해준다. 참고로 dropout은 오버피팅을 방지하고 batch-normalization은 generalization을 향상시켜준다. 이 기능을 inference할때 쓰게 된다면 오히려 성능이 하락된다. 2) torch.no_grad() 요즘엔 torch_no_grad() 대신 torch.inference_mode(.. 머신러닝,딥러닝/딥러닝 2022. 12. 21.

• 

  [pytorch] ImageFolder 사용 방법 대용량 이미지 데이터를 데이터셋으로 관리하는데 편리한 모듈이 있다. 그 주인공은 Pytorch 에서 제공하는 ImageFolder다. 이 글을 읽기 전 선수 지식 포스팅 transforms.Compose 사용 방법 1) torchvision 설치 pip install torchvision ImageFolder는 기본 torch가 아니라 torchvision을 통해 제공된다. 2) 모듈 import from torchvision.datasets import ImageFolder 3) 사용 예제 예제 데이터구조 data 디렉토리를 기준으로 test, train 그 하위로 pizza, steak, sushi 디렉토리로 구성되어있다. ImageFolder를 사용하기 위해 기본적인 디렉토리 골격을 지켜줘야 한다... 머신러닝,딥러닝/딥러닝 2022. 12. 21.

• 

  [pytorch] transforms.Compose 사용 방법 방대한 데이터 이미지를 한번에 변형 시킬 필요가 자주 있다. 이때 일일이 수작업으로 이미지를 변환한다면 리소스 낭비가 이만저만이 아닐거다. 이에 대한 해결책으로 torchvision.transforms.Compose 소개하고자 한다. 이번 포스팅은 transforms.Compose 사용방법과 이미지가 어떻게 변화되는지 눈으로 확인해볼거다. 1) 필요한 모듈 import from torchvision import transforms 2) transforms.Compose 정의 IMG_TRANSFORM = transforms.Compose([ transforms.Resize(size=(64, 64)), transforms.RandomHorizontalFlip(p=0.5), transforms.ToTensor.. 머신러닝,딥러닝/딥러닝 2022. 12. 21.

• 

  AutoEncoder(오토인코더) 예제 코드 import torch from torchvision import transforms, datasets BATCH_SIZE = 64 trainset = datasets.FashionMNIST( root = './data/FASHIONMNIST/', # 저장할 공간 train = True, # 학습 여부 download = True, # downlaod 여부 transform = transforms.ToTensor() # Tensor로 타입 변환 ) trainloader = torch.utils.data.DataLoader( dataset = trainset, batch_size = BATCH_SIZE, shuffle = True, num_workers = 2 ) from torch import nn, o.. 머신러닝,딥러닝/딥러닝 2022. 12. 19.

• 

  [opencv] jupyter notebook에서 영상 실행 방법(with ipywidgets) 일반적으로 영상을 실행시킬때 opencv 자체에서 제공하는 gui window를 통해 영상을 확인합니다. 문제는 쥬피터 노트북 상에선 해당방법으로 영상을 실행하면 커널이 shut down 되는 현상이 발생됩니다. 이번 포스팅에서는 ipywidgets 라이브러리를 통해 jupyter notebook 상에서도 영상을 실행하는 방법에 대해 알아보겠습니다. 1) ipywidgets 설치 !pip install ipywidgets 2) 예제 코드 (1) 방법1 필요한 모듈 import import cv2 from ipywidgets import Image from IPython.display import display Image() 클래스를 객체를 생성합니다. 이 객체는 추후 video file에서 읽은 vide.. 머신러닝,딥러닝/opencv 2022. 12. 19.

• 

  [Docker] 도커 컴포즈(docker-compose) 사용법 이번 포스팅에서는 docker compose 사용법에 대해 알아보겠습니다. 사용법을 알아보기 전 도커 컴포즈를 왜 써야 하는지에 대한 당위성부터 확보하고자 합니다. 이 글을 읽기 전 선수 지식 포스팅 도커 nvidia gpu 초기 세팅 방법 도커에서 주피터 노트북 원격 접속 방법 1) Docker-compose 필요성? jupytertest 라는 이미지를 컨테이너화 하고 싶습니다. 이미지를 run할때 gpu세팅과 쥬피터노트북을 사용하고자 하는데요. 명령어는 아래와 같이 입력할 수 있습니다. docker run -it --rm --gpus all --ipc host -p 5000:8888 -v "/home/user/Object Detection":/workspace jupytertest 해당 명령어가 이해.. 리눅스 2022. 12. 19.

• 

  [Linux] 리눅스 명령어 chmod 사용법 chmod 는 change mode 약자로 파일이나 디렉토리의 권한을 변경하는 명령어입니다. 이번 포스팅에서는 chmod 사용법에 대해 알아보겠습니다. 권한은 어디에서 알 수 있지? ls -a 명령어를 터미널창에 기입하면 파일들이 아래와 같은 형태로 출력됩니다. 우리가 집중할 부분은 빨간색 사각형 부분인데요. 이중 첫번째 열은 디렉토리(Directory)인지 파일(File)인지 나타냅니다. 여기서 d는 Directory를 의미하고 -는 File을 의미합니다. 나머지 9개 열은 3열씩 분리해서 보면 이해가 쉽습니다. 각 3열은 owner, group, other 역할을 하는데요. 자세히 보면 각 칸이 rwx가 반복된다는 걸 알 수 있습니다. 각 알파벳이 의미하는것은 ``` read => 파일 내용을 읽을 .. 리눅스 2022. 12. 15.

• 

  [Docker] yaml: did not find expected '-' indicator 에러 해결 방법 docker-compose(도커컴포즈) 파일을 작성할때 발생한 에러인데요. 'yaml: line : did not find expected '-' indicator' 저의 경우 빨간색 사각형 부분때문에 발생하였습니다. 해당 에러를 해결 하기 위해선 ""(큰따옴표를)를 지워줘야 에러가 사라집니다. 위 docker-compose 파일과 같은 설정인 command 명령어에선 ""(큰따옴표)가 정상 작동하다보니 실수가 자주 발생합니다. docker run -it --rm \ --ipc=host -p 5000:8888 -v "/home/user/Object Detection/ultralytics_yolov5_dreamvision_data":/usr/src/dreamvision --gpus all dockertes.. 리눅스 2022. 12. 14.

• 

  시킹 알파(seeking alpha) 구독 취소 하는 방법 이번 포스팅에서는 시킹 알파 구독 해제 하는 방법에 대해 알아보겠습니다. 1. 시킹알파 접속 후 아래 프로필 사진을 클릭합니다. 2. Account Settigns를 클릭합니다. 3. Paid Subscriptions를 클릭합니다. 아래와 같이 현재 구독중인 서비스가 적혀있고, 다음 결제일이 언제인지 표시됩니다. 다음 결제가 이루어지기 전에 구독 취소하는걸 잊지 않아야 겠죠? 4. Cancel Subscription 클릭 원하는 서비스 칸에 있는 Cancel Subscription 버튼을 클릭해주면 됩니다. 재테크 | 부업/주식 2022. 12. 14.

• 

  [Docker] 도커 허브(docker hub)에 이미지 올리기 도커이미지를 로컬 pc에서만 사용하는게 아니라 어느곳에서든 해당 이미지를 사용하고 싶다면 어떻게 할까요? 오늘 그 방법에 대해 알아보겠습니다. Docker Hub Container Image Library | App Containerization Deliver your business through Docker Hub Package and publish apps and plugins as containers in Docker Hub for easy download and deployment by millions of Docker users worldwide. hub.docker.com 1) 도커 허브 repository 생성 docker hub에 접속하여 Repositories 를 클릭합니다. Creat.. 리눅스 2022. 12. 13.

• 

  [docker] docker: Error response from daemon: failed to create shim task: OCI runtime create failed: 도커 에러 해결방법 docker: Error response from daemon: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: exec: "-v": executable file not found in $PATH: unknown. 흔히 볼륨 설정 관련한 에러라고 생각할 수 있는데요. 사실 명령어 순서를 잘못 적어 발생한 에러입니다. 아래 예시는 jupytertest라는 이름을 가진 이미지를 run 하는 명령어입니다. 첫 번째 명령어가 에러를 뱉은 명령어인데요. 이미지명이 제일 마지막에 와야 하는데 중간에 온 걸 확인할 수 있죠. 리눅스 2022. 12. 13.

• 

  [Docker] 도커에서 주피터 노트북 원격 접속 방법 도커에서 주피터노트북을 설치하고 실행하는 방법에 대해 알아보겠습니다. 챗gpt를 이용한 데이터분석과 시각화 마스터하기 >> 도커 이미지 다운로드 후 컨테이너 실행 예제용 도커이미지 https://hub.docker.com/r/pytorch/pytorch docker pull pytorch/pytorch docker run --rm -it pytorch/pytorch 도커 초보자를 위한 설명 -it => interactive의 약자로 도커를 실행하면 도커 가상공간안에서 터미널을 사용할수 있게 해준다. -it를 없이 run하면 실행 되자 마자 컨테이너는 종료되고 바깥으로 나온다. --rm => 도커를 run한 후 종료 했을때 --rm 명령어를 사용하지 않으면 안쓰는 컨테이너 정보들이 쌓인다. manual하게.. 리눅스 2022. 12. 12.