• 

  [크롤링 기초] 부모(상위)태그 | 자식(하위)태그 | 형제 태그 개념 혹시 부모 태그와 자식 태그 형제 태그에 대한 개념을 아시나요? 모르신다면 이번 포스팅을 통해 개념을 정리 해보도록 하겠습니다. 참고적으로 우리는 html을 공부하는게 아니라, 크롤링을 위한 최소한 것들만 알아볼 예정입니다. html 기본 형태 위 그림이 우리가 일반적으로 만날 수있는 html태그의 구성입니다. (물론 이해를 돕기 위해 극단적으로 단순화 했지만요.) 보시는것 처럼 형태로 구성이 되어있습니다. 다시 말하면 로 태그를 열고 같이 슬래시가 있는 형태로 닫아주는 형태입니다. 물론 태그에 따라 닫지 않는 태그도 있으나, 일반적으로 열고 닫는 형태라는것만 알아두시면 됩니다. 부모 태그 자식 태그 관계 위 그림을 보시면 html태그 안에 head태그가 들어있습니다. 두 태그 중 누가 부모태그(상위태그.. 파이썬/크롤링 2022. 3. 30.

• 

  [파이썬 기초] Visual Studio Code(비주얼 스튜디오) 설치 대표적인 ide중 하나인 visual studio code 설치를 해보도록 하겠습니다. (아직 파이썬을 설치 하지 않으신분들은 해당 포스팅을 확인 후 설치후 돌아와주시기 바랍니다.) VSCode 홈페이지 접속 https://code.visualstudio.com/ Visual Studio Code - Code Editing. Redefined Visual Studio Code is a code editor redefined and optimized for building and debugging modern web and cloud applications. Visual Studio Code is free and available on your favorite platform - Linux, macOS, .. 파이썬/파이썬 기초 2022. 3. 28.

• 

  [파이썬 기초] 파이썬 설치 및 실행(파이썬 시작 하기) 파이썬 공식 홈페이지 접속 파이썬을 다운 받기 위해 아래 링크에 접속합니다. https://www.python.org/downloads/ Download Python The official home of the Python Programming Language www.python.org 파이썬 공식 홈페이지 접속 아래 이미지의 빨간 박스 부분을 클릭 하여 다운로드 합니다. (가장 최신버전을 다운로드 하는것임으로 제일 뒤에 숫자부분은 여러분이 다운 받는 시기에 따라 달라질 수 있습니다.) 다운로드 및 설치 Add Python 3.10 to PATH를 꼭 체크하신후에 Install Now를 클릭해주셔야지, 추후 에러가 발생되지 않습니다. 설치 확인 마지막으로 설치가 잘 되었는지 확인해보겠습니다. 아래 그림과.. 파이썬/파이썬 기초 2022. 3. 28.

• 

  [딥러닝 기초] Artifitial Neuron (with numpy) 딥러닝하면 아래와 같이 복잡한 그림들을 떠올릴수 있을텐데 (동그라미들을 우리는 뉴런이라고 부르고 뉴런들이 모여있는 각 열들을 layer라고 부른다.(초록색 동그라미들은 데이터이기때문에 제외) 이러한 복잡한 연산을 이해하기위해선 가장 기본 단위인 뉴런에서 어떻게 연산과 동작이 일어나는지 이해해야 합니다 이를 위해 가장 단순한 하나의 뉴런을 관찰하면서 조금씩 복잡한 연산과정을 이해해보도록 하겠습니다. 1. 스칼라 연산 1) 수학적 정의 input data(x)가 뉴런($\nu$)를 통과하여 연산 후 출력값(a)를 내뱉는 간단한 형태입니다. 이 뉴런 내부에서는 그림과같이 두개의 연산을 하는데 , $f(x;w,b)$는 affine연산 $g(z)$는 activation연산이라 합니다. x가 xw+b라는 함수를 통.. 머신러닝,딥러닝/딥러닝 2022. 3. 23.

• 

  konlpy 설치 오류 해결 방법(jpype._jvmfinder.JVMNotFoundException: No JVM shared library file (jvm.dll) found) 많은 블로그에서 하라는대로 환경 변수를 설정했는데도 아래와 같은 에러가 발생하시는분들이 많이 있을겁니다. 이를 해결 하기 위해먼저 정말 환경 변수가 잘 설정되었는지 확인 해야 합니다. print('JAVA_HOME' in os.environ) 혹시 False가 나오나요? 아래와 같이 환경변수를 설정하셨어도 False가 나온다면 잘 설정된 것이 아닙니다. 이를 해결하기위해 코드상에서 강제로 환경변수를 설정합니다. os.environ['JAVA_HOME'] = r'C:\Program Files\Java\jdk-17.0.2\bin\server' 다시 아래 코드를 작성하여 True를 확인하신다면 정상적으로 작동이 되실겁니다. print('JAVA_HOME' in os.environ) # 참고 테스트 환경 : p.. 머신러닝,딥러닝/NLP 2022. 3. 18.

• 

  [python 기초] github에 민감한 정보를 가리고 올리고 싶다면? 환경변수 설정 (with dotenv) 이번 포스팅에서나 SECRET_KEY 나 PRIVATE_KEY같이 민감한정보를 github에 올리고 싶지 않을때 어떻게 하는지 하나 하나 알아 보도록 하겠습니다. .env 파일 생성 후 .gitignore 파일에 넣기 1. .env 라는 파일을 현재 경로에 만들어줍니다. 만약 PRIVATE_KEY를 숨길 용도라면 PRIVATE_KEY=#as;dlkfja32! 와 같이 환경변수로 설정을 해줍니다. (따옴표를 적지 않는 다는것 주의하세요!) 2. .gitignore 파일에 해당 파일을 넣어줍니다. (.env 파일에 민감 정보를 넣었으니 당연히 github에 올라가지 않도록 .gitignore파일에 넣어야 겠지요?) 다음으로는 .env파일에 적은 값을 어떻게 불러오는지에 대해 알아보겠습니다. dotenv 설치.. 파이썬/파이썬 기초 2022. 3. 18.

• 

  [github 기초] .gitignore 파일에 csv, xlsx 포함했는데도 repository에 사라지지 않는다면? 혹시 아래와 같이 .gitignore 파일에 csv, xlsx파일을 추가했는데도 불구하고, github repository에서 해당 파일이 사라지지 않나요? #.gitignore *.csv *.xlsx 아마 위와 같은 문제가 발생하신 분이라면, gitignore에 파일을 넣지않고 commit/push 한후 뒤늦게 추가 한 케이스일것입니다. 이를 해결하기 위해서는 아래와 같은 명령어를 입력후 repository를 업데이트를 하면됩니다. (참고로 아래 명령어를 기입해도 우리 로컬상에 파일은 삭제되지 않으니 안심하셔도 됩니다. :) git rm --cached 지우고싶은파일명 카테고리 없음 2022. 3. 15.

• 

  [Python 셀레니움] executable_path has been deprecated, please pass in a Service object 에러 해결 방법 크롤링이 정상적으로 되는것같으나 아래와 같은 에러문이 뜨시나요? 챗gpt로 크롤링 하는 방법 이번 포스팅을 통해 문제를 해결해보도록 하겠습니다! 해당 에러는 selenium이 4.대 버전이 되면서 ‘기존 방식이 아닌 새로운 방식으로 코드를 작성하라!’라는 Warning(경고)문 이라고 보시면 됩니다. 그렇기 때문에 경고문이 뜨지만 잘 작동할 수 있었던거죠. 그렇다면 해결책은 두 가지겠죠? 지금 설치하신 최신 버전 셀레니움을 삭제하시고 구버전 selenium을 설치하시면 됩니다. 최신 selenium에서 바라는대로 코드를 작성하시면 됩니다. 예전 버전으로 돌아가기 가장 심플하고 쉬운 방법이죠. 기존에 설치했던 selenium을 삭제하시고 3.0대 selenium을 설치하시면 됩니다. pip uninstal.. 파이썬/크롤링 2022. 3. 15.

• 

  [django 기초] 페이징 처리(pagination) 마스터 하기 이번 포스팅에서는 페이징 처리에 대해 알아보겠습니다. 아주 간단한 개념부터 하나씩 쌓아가는식으로 진행할것이기 때문에 처음부터 하나씩 이해해가며 읽어 주시면 좋겠습니다. 특히 이번 포스팅에서는 페이징에 대해서만 다룰것이기에 이외에 css나 다른 구현들은 극단적으로 단순화할 것입니다. paging 처리전 기본 세팅 간단하게 model, view, html을 간단히 구성해주시고, # models.py from django.db import models from django.conf import settings # Create your models here. class Post(models.Model): author = models.ForeignKey(settings.AUTH_USER_MODEL, on_dele.. 파이썬/django(장고) 2022. 2. 16.

• 

  [자바스크립트 기초] filter vs find 둘은 어떤 차이가 있을까? 이번 포스팅에선 대표적인 배열(array) 메소드인 filter와 find 차이에 관해 알아 보도록 하겠습니다. 이 둘은 배열에서 값을 하나씩 뽑아낸 후 특정 조건에 해당하는 값을 다시 분류해 새로운 배열에 담는 컨셉인데요. 하지만 명확한 차이가 있는데요. 바로 코드로 확인해보겠습니다. const Fruits = [{ Fruit: 'Banana', Count: 10 }, { Fruit: 'Apple', Count: 12 }, { Fruit: 'Strawberry', Count: 5 }, { Fruit: 'Pineapple', Count: 2 }]; 위와 같이 과일과 갯수가 담긴 객체 리스트를 만듭니다. 그 후 filter , find 메소드를 각각 사용 해보겠습니다. filter method 사용 con.. 자바스크립트 2022. 1. 10.

• 

  [css 기초] width: auto 와 width: 100% 차이 얼핏보면 서로 같은 기능을 하는것처럼 보이는 width: auto 와 width: 100% 의 차이를 알아 보도록 하겠습니다. 아래 코드를 통해 위와 같은 두개의 사각형을 만들어 보았습니다. 검은색 테두리(width: 400px)는 각 사각형(빨간사각형, 초록사각형)의 부모태그인데요. 각사각형의 배경색이 꽉찬걸 보아 auto, 100%는 부모태그 크기에 맞추는 기능을 하는 것처럼 보입니다. 하지만 여기서 차이가 발생하는 순간이 있는데요. 먼저 padding을 추가해보겠습니다. 각각 왼쪽에 30px씩 패딩을 추가 했습니다. 결과는 어떻게 나올까요? 보시는것처럼 글자가 오른쪽으로 이동한걸 보아 padding이 둘다 잘 적용된것처럼 보이는데요. 100%는 padding이 적용된 크기만큼 부모를 뚫고 나오게됩니.. css | html 2022. 1. 4.

• 

  [자바스크립트 기초] " || && 는 어떤 기능을 할까 ?" (short Circuiting) 자바스크립트를 공부하다보면 종종 아래와 같은 녀석을 만나게 됩니다. 위에 조건문과, &&를 이용해 길게 늘어놓은 거랑 같다고 하는데 잘 이해가 가질않습니다. 이를 이해하기 위해선 short circuiting , 한국어로는 단축 평가라는 문법을 이해하셔야 합니다. && (AND 연산자) &&는 and 연산자를 의미합니다. general한 개념 설명보다는 먼저 코드를 통해 결과를 확인 해보겠습니다. 이 두개 코드의 출력 값은 무엇일까요? output : 왜 이런 결과가 나오는 것일까요...? 먼저 첫번째 코드부터 볼게요. 좌측부터 우측으로 하나씩 진행 됩니다. 먼저 0을 만납니다. 0은 falsy한 값이죠? 바로 0을 return 합니다. 왜falsy하다고 그냥 리턴을 해버릴까요? and 연산자는 단 하.. 자바스크립트 2021. 12. 27.