• 

  [셀레니움] 크롬드라이버 자동 업데이트 방법 2가지 코드를 작성하고 시간이 지나 코드를 다시 실행할 때 드라이버 충돌 문제를 겪으신 적 있나요? 크롬(Chrome) 버전이 바뀔 때마다 드라이버를 다시 설치하는 건 참 번거로운 일입니다. 이번 포스팅에서는 이 번거로운 작업을 한번에 해결하는 방법 2가지를 소개 합니다. 이 글과 읽으면 좋은글 구글 로그인 성공하기(with undetected-chromedriver) [파이썬 셀레니움 기초] 팝업창 닫는 방법 1. ChromeDriverManager().install() 이 방법은 Selenium 4.x버전 이후로 사용 가능합니다. from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_.. 파이썬/크롤링 2023. 2. 6.

• 

  [셀레니움] 구글 로그인 성공하기(with undetected-chromedriver) 혹시 구글 로그인을 하는데 아래와 같은 문제가 발생하시나요? (브라우저 또는 앱이 안전하지 않을 수 있습니다.) 챗gpt로 크롤링 하는 방법 해결 방법은 간단합니다. undetected-chromedriver를 이용하면 됩니다. 1. undetected-chromedriver 설치 pip install undetected-chromedriver 2. 사용법 1) 기존 사용법(셀레니움 4.0 기준) from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(servic.. 파이썬/크롤링 2023. 2. 6.

• 

  [파이썬 셀레니움 기초] 팝업창 닫는 방법 웹 스크래핑을 하다보면 사이트에 따라 아래와 같이 여러개의 팝업창이 뜨는 경우가 있는데요. 이때 팝업창들을 닫기 위해서는 어떻게 해야 할까요? 1) url접속 코드 작성 from selenium import webdriver import time from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) url = "http://www.riss.kr" dr.. 파이썬/크롤링 2022. 9. 22.

• 

  [크롤링 기초] svg 태그 찾기 (with xpath 셀레니움) 크롤링을 하다보면 내가 원하는 정보가 svg태그 안에 있는데, svg태그가 검색이 안되는 경우가 있습니다. 아래 태그는 인스타그램에 포함되어있는 좋아요 버튼을 나타내는 svg태그입니다. 분명 존재하죠? 하지만 검색하면 나오지가 않습니다. 왜그럴까요? 왜냐하면 다른 태그와 달리 svg태그를 찾는 방법이 다르기 때문입니다. //*[local-name()='svg'] svg태그는 //*[local-name()='svg'] 로 검색을 하셔야 합니다. 정말 되는지 볼까요? output : 아주 많은 태그가 검색된걸 알 수 있습니다. 이중에서 svg태그 안에있는 aria-label속성값이 "좋아요"인 태그를 뽑고 싶다면 어떻게할까요? (//*[local-name()='svg' and @aria-label="좋아요".. 파이썬/크롤링 2022. 4. 19.

• 

  [셀레니움 기초] 네이버 쇼핑 크롤링 중 차단?(headless 사용시 주의사항) 셀레니움을 사용하다보면 브라우저가 실제 눈앞에서 작동 되기 때문에, 상당히 번거로울 때가 많습니다. 이러한 문제를 해결하기 위해 많은 분들이 headless 옵션을 사용하시는데요. (headless 사용법을 모르시는 분은 해당 포스팅을 참조하시기 바랍니다.) 하지만 headless를 사용하면 해당 웹서버에 내가 크롤링을 하고 있다는 정보가 노골적으로 노출되게 됩니다. 다시말하면 해당 웹페이지에서 우리 ip를 차단할 확률이 높아진다는것이죠. 네이버 크롤링 중 ip 차단 일례로 저는 최근 headless상태로 네이버 쇼핑을 크롤링을 하는데 5분도 지나지 않아 차단이 된 경험이 있습니다. 차단이 되었을때 발생되는 에러메세지는 아래와 같습니다. 실제로 저희 집 wifi ip연결된 기기로 해당 쇼핑 웹사이트에 접.. 파이썬/크롤링 2022. 4. 7.

• 

  [셀레니움 기초] StaleElementReferenceException 오류 해결 StaleElementReferenceException: stale element reference: element is not attached to the page document 다른 블로그 포스팅에서 time.sleep() 주면 해결된다고 하는데 여전히 문제가 해결이 되시지 않는다면, 이 포스팅이 도움이 되실겁니다. 제가 원하는 바는 아래와같이 네이버 쇼핑 검색창에 슬리퍼를 입력하고, 다시 그 부분을 지우고 싶었습니다. search_keyword = driver.find_element(by=By.XPATH, value='//input[@title="검색어 입력"]') search_keyword.send_keys(keyword) search_keyword.send_keys(Keys.RETURN) se.. 파이썬/크롤링 2022. 4. 7.

• 

  [selenium 기초] 셀레니움 ~ is not clickable at point ~ 오류 해결 방법 이번 포스팅에서는 ~ is not clickable at point ~ 문구로 오류가 발생할 경우 어떻게 해결 해야 하는지 알아 볼게요. 에러 문을 보면 알수 있듯 해당 부분을 셀레니움으로 클릭할 수 없다는 내용입니다. 분명 클릭할 수 있는 부분인것 같은 데 왜 클릭이 안되지 라는 의문이 드시는 분들이 있을 것 같은데요. 이건 태그 특성상 클릭이 안되는 부분일 가능성이 높습니다. 예를 통해 설명을 드려보겠습니다. 저는 네이버 쇼핑몰에서 해당 더보기 버튼을 누르고 싶습니다. 개발자창을 확인해보니, "더보기"라는 text가 있으니까 저부분을 클릭 하면 되겠라고 생각하고 해당부분을 scraping 합니다. 참고로 해당 부분을 xpath로 가져오려면 //*[text()="연관검색어"] 입니다. (xpath에 대.. 파이썬/크롤링 2022. 4. 6.

• 

  [크롤링 기초] 부모(상위)태그 | 자식(하위)태그 | 형제 태그 개념 혹시 부모 태그와 자식 태그 형제 태그에 대한 개념을 아시나요? 모르신다면 이번 포스팅을 통해 개념을 정리 해보도록 하겠습니다. 참고적으로 우리는 html을 공부하는게 아니라, 크롤링을 위한 최소한 것들만 알아볼 예정입니다. html 기본 형태 위 그림이 우리가 일반적으로 만날 수있는 html태그의 구성입니다. (물론 이해를 돕기 위해 극단적으로 단순화 했지만요.) 보시는것 처럼 형태로 구성이 되어있습니다. 다시 말하면 로 태그를 열고 같이 슬래시가 있는 형태로 닫아주는 형태입니다. 물론 태그에 따라 닫지 않는 태그도 있으나, 일반적으로 열고 닫는 형태라는것만 알아두시면 됩니다. 부모 태그 자식 태그 관계 위 그림을 보시면 html태그 안에 head태그가 들어있습니다. 두 태그 중 누가 부모태그(상위태그.. 파이썬/크롤링 2022. 3. 30.

• 

  [Python 셀레니움] executable_path has been deprecated, please pass in a Service object 에러 해결 방법 크롤링이 정상적으로 되는것같으나 아래와 같은 에러문이 뜨시나요? 챗gpt로 크롤링 하는 방법 이번 포스팅을 통해 문제를 해결해보도록 하겠습니다! 해당 에러는 selenium이 4.대 버전이 되면서 ‘기존 방식이 아닌 새로운 방식으로 코드를 작성하라!’라는 Warning(경고)문 이라고 보시면 됩니다. 그렇기 때문에 경고문이 뜨지만 잘 작동할 수 있었던거죠. 그렇다면 해결책은 두 가지겠죠? 지금 설치하신 최신 버전 셀레니움을 삭제하시고 구버전 selenium을 설치하시면 됩니다. 최신 selenium에서 바라는대로 코드를 작성하시면 됩니다. 예전 버전으로 돌아가기 가장 심플하고 쉬운 방법이죠. 기존에 설치했던 selenium을 삭제하시고 3.0대 selenium을 설치하시면 됩니다. pip uninstal.. 파이썬/크롤링 2022. 3. 15.